2017年06月_passer199101

10月 09月 07月 06月 05月 04月 03月 02月 01月

原创 How can I convert printStackTrace message to a string?

https://stackoverflow.com/questions/1149703/how-can-i-convert-a-stack-trace-to-a-string

2017-06-30 12:34:17 562

原创 /etc/crontab文件和crontab -e命令区别

http://www.cnblogs.com/xd502djj/p/4292781.html

2017-06-29 15:14:47 6042

原创将 Spark 中的文本转换为 Parquet 以提升性能

https://www.ibm.com/developerworks/cn/analytics/blog/ba-parquet-for-spark-sql/index.html

2017-06-26 11:23:24 2286 1

原创 Spark将数据压缩存储

/tmp/dj/20170622.1498060818603为json数据将数据压缩存储成parquetval logs = spark.read.json("/tmp/dj/20170622.1498060818603")//logs.coalesce(2).write.option("compression","gzip").json("/tmp/dj/json2")logs.coale

2017-06-23 17:26:38 2387 5

原创为项目重新设置git remote url

git remote set-url origin https://xxx@github.org/hello/etl.git

2017-06-20 17:18:35 9693

原创 scala将double转换为long

https://stackoverflow.com/questions/19647525/how-to-convert-any-a-number-to-a-longx.asInstanceOf[Number].longValue

2017-06-19 12:27:28 3860

原创 spark stream上创建对象实例

kafkaStream.foreachRDD { rdd => rdd.foreachPartition { partition => //每次在这里创建一个kafka producer实例是不可取的 } }上边的方式会造通过kafka producer发送的数据部分丢失. 应该用如下的方式, 下边的这种方

2017-06-06 15:00:50 459 1

hadoop2 文件读写原理

这个文档讲述了hadoop2的文件读写原理,不过是英文的,英文不好的同学下载的时候,要谨慎了

2015-06-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人