2016年02月_亮亮-AC米兰

12月 08月 06月 04月 03月 02月 01月

Spark和hadoop联合部署的时候，需要注意配置SPARK_LOCAL_HOSTNAME环境变量，否则由可能导致HadoopRdd切分的task无法在blk所在节点运行，导致数据本地化功能缺失

2016-02-02 14:57:21 794

这几天在进行spark性能调优的时候发现了一款很好用的工具nmon，它可以同时监测cpu磁盘网络等的性能，具体可以参考：http://blog.csdn.net/defonds/article/details/41725929以下为该软件的截图：

2016-02-02 10:17:16 581

详细讲解IK分词器原理

2017-05-12

结合代码详细描述RDD算子的执行流程，并配上执行流程图

2017-03-02

2017-02-07

详细描述了Spark-sql的原理，从sql语句如何转换为逻辑计划，然后是物理计划，最后是rdd

2016-08-22

kafka源码解析，适合新手，免积分下载

2016-04-11

linux同时监控cpu磁盘网络的工具nmon，可以方便性能调优的时候观察服务器的性能瓶颈

2016-02-02

绝对原创，SparkCore源码阅读，适合新手

2016-01-29

TA创建的收藏夹 TA关注的收藏夹

TA关注的人