spark
晨光1024
这个作者很懒,什么都没留下…
展开
-
spark大数据分析实战案列1学习 (lamda架构日志分析流水线)
日志实例格式当数据量较小(10MB,100MB,10GB)可以通过Shell Python单机解决Linux Shell命令 : cat access.log.10 |awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}'| sort -k2 -r |head -n 10 日志分析指标: 1:PV 2...翻译 2018-02-26 16:09:32 · 1573 阅读 · 1 评论 -
spark TopN求解
完整代码text.txt文件内容代码没什么好说的 但有一个注意点 SparkConf.setMaster 这里如果设置为多线程 那么count必须调用collect()方法 否则结果不正确原创 2018-03-08 13:46:25 · 526 阅读 · 0 评论 -
spark-submit 参数调优
spark-submit 参数介绍: --master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. --deploy-mode DEPLOY_MODE Whether to launch the driver program locally ("client") or ...转载 2018-12-05 15:02:27 · 317 阅读 · 0 评论