spark
文章平均质量分 58
dont_curry
这个作者很懒,什么都没留下…
展开
-
使用python代替spark-submit运行pyspark代码
刚开始使用pyspark,写了import pyspark的代码,运行时需要spark-submit xx.py来执行xx文件。可以直接使用python来执行xx.py。需要首先安装findspark包pip install findspark然后在代码开始进行初始化,找到spark,详细如下:import findsparkfindspark.init()from pyspark import SparkContextsc = SparkContext("local", "count app原创 2020-10-23 11:30:11 · 443 阅读 · 0 评论 -
hadoop datanode启动失败
问题如上这种问题在日志可以看到,其实是一个权限的问题,我们把data的目录所有者改为你当前的用户就可以了。sudo chown -R user:user /usr/local/hadoop-2.9.2/dfs/data注意目录改成自己的原创 2020-10-27 12:49:12 · 134 阅读 · 0 评论 -
spark构建原理
spark启动运行的流程转载 2021-09-15 10:35:40 · 91 阅读 · 0 评论 -
Linux环境Hadoop、spark、Kafka搭建流程
spark环境搭建流程服务器名称及IP使⽤vim修改hosts⽂件,vim /etc/hosts,三台服务器均做相同配置添加master:192.168.x.Xslaver1:192.168.x.Xslaver2:192.168.x.xvim /etc/hostname,需要对三台服务器分别配置为master、slaver1、slaver2192.168.x.x master 192.168.x.x slaver1 192.168.x.x slaver2三台电脑免密登录在原创 2021-02-08 10:44:32 · 380 阅读 · 1 评论