![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据编程
文章平均质量分 77
spark基础知识学习
Anallve cityz-19
学生
展开
-
RDD编程实验
pyspark RDD编程实验原创 2023-12-18 14:41:47 · 301 阅读 · 0 评论 -
RDD编程学习
RDD学习原创 2023-12-18 14:33:42 · 34 阅读 · 0 评论 -
Hadoop搭建伪分布式集群环境
如果权限不够需要进入su超级管理员,或者采用sudo mkdir servers构建,这里我就遇到了这样的问题。(也可以在linux中对应目录下采用mkdir uploads 指令实现,此处不赘述)后来发现这里漏添加了servers目录,在后续补上了,不影响环境的搭建!这里我新建的为server,老师的是servers,后续我修改回来了不必在意。进入刚刚新建的uploads文件目录下,把文件复制到虚拟机中。补:前面漏缺了servers的目录构建,此处进行弥补。如果不配置每次启动ip会发生变化!原创 2023-12-06 08:42:43 · 41 阅读 · 0 评论 -
Spark在伪分布式上搭建
这样便完成安装,这个时候我们查看python版本发现还是python2,原因是python为默认编译方式,但是我们的python3环境已经存在,后续环境中已经配置完成。第一步拷贝文件到uploads目录下(这里我创建了一个spark目录,把老师的文件全部放在了spark目录里,如果不跟我一样后面的cd目录操作自行修改)第二步检查python版本,版本不对要下载python3.0+第三步解压缩spark(进入spark目录下去解压缩)启动界面如此,即正常启动完成。第五步,启动pyspark。原创 2023-12-06 08:46:40 · 38 阅读 · 0 评论