- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark性能调优
park性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 指定脚本： /usr/opt/modules/spark/bin/spark-submit –class com.atguigu.spark.Analysis –num-executors 80 –driver-memo...
2020-03-09 12:06:36
157
原创 气象分析
气象数据分析 首先将1920s.txt的文件导入到usr路径下，或者是自己随意自己的路径， 打开spark的sbin目录： ./start-all.sh 进行打开全部 退出到sbin目录，进入到bin目录 cd… cd bin 打印spark ./pyspark 问题1：file开始的时候后面没有加上：一直在报错。 问题2：总是找不到‘sc’。 解决方法2:重新启动虚拟...
2020-02-26 22:32:04
358
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人