d4shman-CSDN博客

原创 Hacker Ethic

From -> Hacker:Heroes of the Computer Revolution

2014-05-26 01:13:43 1353

1.char *p="abcdef"和char s[]="abcdef"存储在哪里的问题 http://bbs.csdn.net/topics/2800531442.深入理解C语言指针的奥秘http://bbs.csdn.net/topics/1000215213.数组指针（指向数组的指针）与指针数组（存放指针的数组）http://see.xidian.edu.cn/cpp/html/476.html

2013-11-25 15:45:00 1817

原创 Unix command-line interface programs and shell builtins

[hide]v t eUnix command-line interface programs and shell builtins File systemcat cd chmod chown chgrp cksum cmp cp dd du df file fsck fuser ln ls mkdir mount mv pa

2013-07-26 11:31:16 1920 1

原创代码规范

Shell：Google Shell Style Guide 或其中文版译文Java：Google Java Style Guide Scala：Scala Style GuideC/C++：Google C++ Style GuidePython：PEP-8Javascript：Google Javascript Style GuideGo：Effective Go 或其中文版译文

2017-11-16 12:01:39 2040

转载阿里Java编码规范摘要

一、编码规约1. 命名约定2.常量定义3. 格式约定4. OOP规约5.集合处理6.并发处理7.控制语句8.注释规约9.其他二、异常日志1.异常处理2.日志规约三、MySQL规约1. 建表规约2.索引规约3.SQL规约4.ORM规约四、工程规约1.应用分层2.二方库规约3.服务器规约

2017-09-13 11:43:16 1808

原创为什么在覆盖equals时一定也要覆盖hashCode

为什么在覆盖equals时一定也要覆盖hashCode?因为先hashmap, 后equals !下面用HashMap来阐述原因，首先假设key1和key2的值在业务逻辑领域是相等的，即它们应该是同一个对象，HashMap已经存储了key1，现在要查找key2是否存在，正确的结果应该是存在。Java中的HashMap实际上是一个链表数组，即首先HashMap是一个数组，然后数组中的每一个元素是一个链

2017-08-14 15:24:28 1676 2

原创 Spark源码--逻辑计划优化之表达式简化

一、常量合并(Constant Folding)二、简化过滤器 (Simlify Filters)三、简化Cast (Simplify Casts)四、简化大小写转化表达式 (Simplify Case Conversion Expressions)五、优化In语句 (Optimize In)六、简化Like语句(Simplify Like)七、替换Null表达式 (Null Propagat

2017-07-26 19:17:54 1542

原创 Spark源码--RuleExecutor

Spark SQL catalyst RuleExecutor的作用是分批次(batch)执行一系列的优化规则直到稳定点(fixpoint)或最大迭代次数,如图所示：实现如下：源码如下： /** 优化规则执行器 */abstract class RuleExecutor[TreeType : TreeNod

2017-07-26 19:14:44 1062

原创 Spark源码--JobListener

Spark-1.6版本JobListener trait:用于监听Job运行结束(成功/失败)事件，声明了taskSucceeded和jobFailed方法package org.apache.spark.scheduler/** * Interface used to listen for job completion or failure events after submitting a j

2017-07-18 14:56:28 787

原创 Spark源码--Stage

Stage是Spark调度执行的物理单元Spark1.6版本Stage源码：package org.apache.spark.schedulerimport scala.collection.mutable.HashSetimport org.apache.spark._import org.apache.spark.rdd.RDDimport org.apache.spark.util.Cal

2017-07-18 12:20:27 642

原创 Spark源码--EventLoop

Spark1.6版本 EventLoop.scala源码如下：package org.apache.spark.utilimport java.util.concurrent.atomic.AtomicBooleanimport java.util.concurrent.{BlockingQueue, LinkedBlockingDeque}import scala.util.control.

2017-07-18 10:26:03 778

原创 intellij idea安装thrift support plugin后报错

如下：Error:Module '**' production: java.lang.UnsupportedClassVersionError: com/intellij/openapi/vfs/VfsUtil : Unsupported major.minor version 52.0猜测是thrift support这个插件需要JDK1.8，项目模块需要JDK1.7编译，版本冲

2017-06-26 17:50:01 4869 2

转载 Sigmoid函数的理解

原文地址：http://computing.dcu.ie/~humphrys/Notes/Neural/sigmoid.html---Continuous Output - The sigmoid functionGiven Summed Input:x = Instead of threshold, and fire/not fire,we c

2017-05-15 14:59:47 5435 1

转载 Hadoop作业压缩方式对比(CPU和memory的权衡)

slide地址：Compression Options in Hadoop - A Tale of Tradeoffs

2017-05-10 17:07:34 689

原创神经网络论文和资料整理

NN基础：A Quick Introduction to Neural NetworksCNN：Beginner's Guide to Convolutional Neural NetsAn Intuitive Explanation of Convolutional Neural NetworksRNN：Understanding LS

2017-05-10 12:10:31 1465

原创 TensorFlow学习-基于CNN实现手写数字识别

一、网络结构二、模型训练三、模型评估四、源码一、网络结构使用2个卷积层，2个池化层, 2个全连接层组成网络输入→ 卷积→ ReLU→max polling→ 卷积→ ReLU→max polling→ FC→输出输入一个4维的tensor: [batch_size, image_width, image_height, channels]

2017-05-10 12:08:17 2088

原创 MXNet调研之2--python API

python API httpmxnetioapipythonNDArraySymbolModuleKVStoreData LoadingOptimization initialize and update weights0. python API http://mxnet.io/api/python/1. NDArrayA NDArray is a multidimensional

2017-04-07 16:15:37 1575 2

原创 MXNet调研之1--编译和安装

http://mxnet.io/get_started/index.html#installation

2017-04-07 16:13:01 923

转载 Spark mapPartitions()操作

原文地址：http://apachesparkbook.blogspot.com/2015/11/mappartition-example.html---mapPartitions() can be used as an alternative to map() & foreach(). mapPartitions() is called once for each Partition

2016-11-21 12:11:47 2706

原创 Spark数据分区

Spark程序可以通过分区来减少网络通信开销。分区并非对于所有场景都是有好处的：比如，如果给定RDD只被扫描一遍，那么完全没有必要做分区，只有当数据多次在诸如连接这种基于键的操作时，分区才会有帮助。假设我们有一份不变的大文件userData, 以及每5分钟产生的小数据events, 现要求在每5分钟产出events数据后， userData对events做一次join操作。该过程的代码

2016-11-20 00:55:02 2478 1

原创 Spark Pair RDD操作

Spark Pair RDD操作1. 创建Pair RDDval pairs = lines.map(x => (x.split(" ")(0), x)2. Pair RDD的转化方法表1 Pair RDD的转化方法(以键值对集合{(1,2), (3,4), (3, 6)}为例) 函数名目的示例结果 reduceByKey() 合并具有相同键的值 rdd.reduce

2016-11-19 12:14:04 1279

转载 Spark内存参数调节

原文地址： http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/－－In the conclusion to this series, learn how resource tuning, parallelism, and data representation affect

2016-11-15 10:29:55 2012 2

转载 Hive VS HBase

原文地址：https://www.xplenty.com/blog/2014/05/hive-vs-hbase/---Comparing Hive with HBase is like comparing Google with Facebook - although they compete over the same turf (our private information)

2016-11-14 13:54:09 1448

原创 Spark RDD基本操作

Spark RDD Scala语言编程RDD（Resilient Distributed Dataset）是一个不可变的分布式对象集合，每个rdd被分为多个分区，这些分区运行在集群的不同节点上。rdd支持两种类型的操作：转化(trainsformation)和行动(action)， Spark只会惰性计算rdd, 也就是说，转化操作的rdd不会立即计算，而是在其第一次遇到行动操作时才去计算，

2016-11-13 20:32:19 5053

转载 hadoop streaming多用户权限问题

原文地址：http://blog.sina.com.cn/s/blog_605f5b4f0101897z.htmlhdfs的权限判断十分简单，就是拿发出指令的user name和文件的user name 做比较 private void check(INode inode, FsAction access ) throws AccessControlExcept

2016-07-28 00:09:28 1612

原创 intellij的maven工程"Server IPC version 9 cannot communicate with client version"错误的解决办法

这个问题是java初始化hdfs client时出现的，原因是maven依赖的版本和hdfs的版本不一致。mvn的hadoop-core最高只有1.2.1版本，不能加这个配置，使用hadoop-common + hadoop-hdfs + hadoop-client的2.7.1版本即可我的配置： com._baidu

2016-06-07 21:43:49 3442 2

转载 vim自定义语法高亮

原文地址：http://vim.wikia.com/wiki/Creating_your_own_syntax_files#Install_the_syntax_file--

2016-03-30 16:25:52 1602

原创 Hive相关资料整理

-------什么是HIVEhttp://www.aboutyun.com/thread-7411-1-1.htmlProgramming HiveHIVE架构和工作原理全面了解HIVE HIVE实现原理Hive SQL解析/执行计划生成流程分析Hive操作（HQL）HIVE基本操作Hadoop Hive

2016-03-21 19:38:44 1102

原创 hadoop streaming

-----如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在，则首先需要将这些文件分发到集群上才能成功进行计算。Hadoop提供了自动分发文件和压缩包的机制，只需要在启动Streaming作业时配置相应的参数。 1. –file 将本地文件分发到计算结点 2. –cacheFile 文件已经存放在HDFS中，希望计算时在每个计算节点上将

2016-03-21 18:30:41 679

原创 linux各种中文乱码解决办法整理

远程登录服务器用vim在终端下编辑查看文件经常会遇见各种中文乱码问题。做如下设置可基本解决vim中文乱码问题首先查看系统对中文的支持locale -a | grep zh_CN输出样例如下zh_CN.gbkzh_CN.utf8vim 只能正确识别列表中的中文编码文件，如需识别其他编码类型的中文文件，则需要做系统升级vi ~/.bash_profile

2016-03-21 15:52:05 73320

原创大数据架构文章整理

以下是学习数据分析过程中用到的文档：一、 Hadoop相关：1. Hadoop集群搭建： http://blog.csdn.net/weixuehao/article/details/158136812. 分布式文件系统HDFS的架构和设计： https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html3. Ha

2016-03-18 11:07:45 950

转载 Why is Map Reduce faster

原文地址：http://www.onebigfluke.com/2013/01/why-is-map-reduce-faster-practical.html关键点： hadoop在map后会做shuffle、sort处理数据结构，然后交给reducer计算结果----------Why is Map Reduce faster? -- A practical example

2016-03-04 14:02:36 561

原创 redis在tag订阅功能中的实践

如图：

2016-03-01 14:46:50 1435 1

转载 mysql innodb auto_increment id不连续增长问题

原文地址：http://thenoyes.com/littlenoise/?p=187---------Why are there gaps in my auto_increment sequence, even if there are no deletes or rolled back transactions?Is it a bug?The manua

2016-01-13 14:51:15 2156 1

转载通过explain对mysql索引优化

原文地址： http://www.cnblogs.com/zaric/archive/2012/09/28/2707248.html-----------今天优化了多条SQL语句。都是EXPLAIN的功劳，分析SQL子句的执行顺序和执行情况，一木了然，下来看具体分析：［优化多表联合查询］explain SELECT sql_no_cache pker.*,pk.

2016-01-11 17:22:46 871

原创 mysql_real_eacape_string中文截断问题

rt:解决办法：参考：http://stackoverflow.com/questions/21091580/is-mysql-real-escape-string-vulnerable-to-invalid-utf-8-exploitation-eg-overlong/21140149#21140149

2016-01-11 11:37:22 1098

原创 yum install killall pstree

redhat7下使用这个命令完成安装：yum install psmisc

2015-11-14 16:32:52 2337

原创 redhat7安装mysql-server（mysqld）

折腾…………原文地址： http://sharadchhetri.com/2014/07/31/how-to-install-mysql-server-5-6-on-centos-7-rhel-7/--------------In this tutorial we will learn, how to install MySQL Server 5.6 on Cent

2015-11-14 16:22:06 6195 1

原创使用base64 加密在URL安全传递|url_safe|php

原文地址：http://www.pylist.com/topic/1435231261-------------base64模块是用来作base64编码解码的。这种编码方式在电子邮件中是很常见的。它可以把不能作为文本显示的二进制数据编码为可显示的文本信息。编码后的文本大小会增大1/3。base64模块真正用的上的方法只有8个，分别是encode, decode, encod

2015-11-12 19:34:53 13786

转载【好文收藏】理解python多线程

原文地址：http://agiliq.com/blog/2013/09/understanding-threads-in-python/ ， http://my.oschina.net/leejun2005/blog/179265----------------目录[-]示例1，我们将要请求五个不同的url：1、单线程2、多线程示例2，全局变量的线程安全

2015-11-09 22:26:23 2006