www.hohode.com

http://fantefei.blog.51cto.com/2229719/1172813seq -w 1 10

https://superuser.com/questions/52124/what-s-a-good-way-to-extract-rar-files-on-the-mac Using Homebrew, in a terminal type:brew install unrarto use it just navigate to your file and typeunrar x <filen

http://blog.csdn.net/rkjava/article/details/51771466

http://bigdatums.net/2017/03/02/connecting-apache-zeppelin-to-mysql/

https://stackoverflow.com/questions/1149703/how-can-i-convert-a-stack-trace-to-a-string

http://www.cnblogs.com/xd502djj/p/4292781.html

https://www.ibm.com/developerworks/cn/analytics/blog/ba-parquet-for-spark-sql/index.html

/tmp/dj/20170622.1498060818603为json数据 将数据压缩存储成parquetval logs = spark.read.json("/tmp/dj/20170622.1498060818603")//logs.coalesce(2).write.option("compression","gzip").json("/tmp/dj/json2")logs.coale

git remote set-url origin https://xxx@github.org/hello/etl.git

https://stackoverflow.com/questions/19647525/how-to-convert-any-a-number-to-a-longx.asInstanceOf[Number].longValue

kafkaStream.foreachRDD { rdd => rdd.foreachPartition { partition => //每次在这里创建一个kafka producer实例是不可取的 } }上边的方式会造通过kafka producer发送的数据部分丢失. 应该用如下的方式, 下边的这种方

https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-reindex.htmlPOST _reindex{ "source": { "index": "twitter" }, "dest": { "index": "new_twitter", "op_type": "create

一次action操作会触发RDD的延迟计算，我们把这样的一次计算称作一个Job。 窄依赖指的是：每个parent RDD 的 partition 最多被 child RDD的一个partition使用 宽依赖指的是：每个parent RDD 的 partition 被多个 child RDD的partition使用 窄依赖每个child RDD 的partition的生成操作都是可以并行的

spark.read.json("/flume/product/160/raw1/2017/05/23/*[1-9]")读取文件,文件以数字结尾.

./zkCli.sh -server hostname

curl -XDELETE "http://test-hostname:9200/product*_201704*"

HOW SB THIS RULE IS.

在编辑模式中，采用:r命令读取文件内容到当前缓冲区 文本替换:1,5 s/Spark/spark/g:% s/\<the\>/The/g

1.移动到某个特定字符 采用fx命令进行字符定位，例如fs可以定位到同一行s下一次现出的位置。 采用Fx命令，可以将光标定位到x字符在同一行上一次出现的位置 2.按word进行移动 使用w或nw将光标向前移动。其中n为数字。 使用b或nb将光标向后移动。其中n为数字。 3.新行输入 o表示在当行下的下方创建一个新行，O表示在当前行的上方打开一个新行//O在光标所在行的上方插入新行【

http://www.jianshu.com/p/03b6fa705a82

http://www.cnblogs.com/kevingrace/p/6182573.html

单个变量 var clusterManager: Int = arg match { case "yarn" => YARN case "yarn-client" | "yarn-cluster" => println(s"Master ${arg} is deprecated since 2.0." +

var exitFn: Int => Unit = (exitCode: Int) => print(exitCode)上边代码看上去挺费劲的，不过后来稍有所悟，记录于此。 var exitFn: Int => Unit这里定义了一个可变函数exitFn，参数是一个Int类型的值，返回Unit类型的值，这个Unit类型和java中的void的有点像，就是不需要返回数据。 那么它的具体实现是什么呢

http://kubicode.me/2015/06/06/Scala/Enum-in-Scala/

因为首次启动JOB的时候，由于冷启动会造成内存使用太大，为了防止这种情况出现，限制首次处理的数据量spark.streaming.backpressure.enabled=truespark.streaming.backpressure.initialRate=200应该是在spark-submit的命令中用–conf指定。 http://qindongliang.iteye.com/blog/

http://blog.csdn.net/wangqingqi20005/article/details/48134649

http://www.cnblogs.com/shixiangwan/p/6195297.html

参考http://elasticsearch.cn/article/32 _optimize 优化前GET _cat/indices/product95_new_users?v\&h=index,docs.count,docs.deleted,store.size,tmproduct95_new_users 203037 24838 326.6mb 1.5mb 优化方法POST product

这是我见过的最容易看懂的介绍逻辑回归的文章。对于其他很多介绍机器学习的文章，我表示看不懂，专业术语太多，专业性太强（其实本来想说，我甚鄙视之，但是想想算了，他们又不是写给小白看的）。

http://www.runoob.com/linux/linux-comm-sed.html