spark
文章平均质量分 95
wangjinyuan161
这个作者很懒,什么都没留下…
展开
-
SparkStreaming源码全方位解析--
复制大牛的分析,因为他的博客在国内打不开http://guaver.info/spark-streaming-code-analysis/ SparkStreaming源码全方位解析09 MARCH 2015最近在做基于Kafka + Spark Streaming的实时计算,今天研究了下Spark Streaming源码,在此记录下。主要以WordCount为例,具体讲解Sp...原创 2015-05-29 15:38:03 · 189 阅读 · 0 评论 -
spark 配置
1->spark.storage.memoryFraction 默认内存40%运行task %60 存储2->问题map|reduce数量大造成shuffle 小文件数目多default: shuffle文件数目为 spark.shuffle.consolidateFiles为true来合并中间文件数量3-> 问题block...原创 2015-07-07 16:02:26 · 120 阅读 · 0 评论 -
spark running thrift server
spark running thrift server 1 启动 thrift server cd $SPARK_HOME/ sh sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=yf-hive01...原创 2015-11-27 17:21:09 · 176 阅读 · 0 评论