【Web信息处理】ws02实验--RDD编程环境配置(存在错误)

最新推荐文章于 2024-08-07 19:39:11 发布

TIGER1693

最新推荐文章于 2024-08-07 19:39:11 发布

阅读量504

点赞数 1

分类专栏： Web信息处理文章标签： linux web

本文链接：https://blog.csdn.net/dive668/article/details/119257361

版权

5 篇文章 0 订阅

订阅专栏

因为环境问题，在windows下配置的jupter notebook怎么都运行不起来。因此到虚拟机内部属ws02实验.

可以参考博主另一篇文章的这一部分：
【阿里云/腾讯云】搭建 Hadoop 伪分布式环境
在这里插入图片描述
3. 安装JDK

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

mv java-se-8u41-ri/ /usr/java8

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

在这里插入图片描述

java -version

如果返回以下信息，则表示安装成功。
在这里插入图片描述

在这里插入图片描述

'argon2:$argon2id$v=19$m=10240,t=10,p=8$M5iWUKr6HZ58MNaJMEXHMg$73om6tP5cqlnZkxmbZPhAA'

在这里插入图片描述
按照步骤一的博文进行配置

firewall-cmd --zone=public --add-port=8888/tcp --permanent
systemctl restart firewalld.service

在这里插入图片描述
然后就是打开jupyter notebook的server啦！！

jupyter notebook --allow-root

运行成功
在这里插入图片描述

进入到jupter notebook内的terminal并安装pyspark
在这里插入图片描述

pip install pyspark

在这里插入图片描述
通过vim修改配置文件,添加如下内容

c.NotebookApp.notebook_dir = '/home/username/Desktop'

在这里插入图片描述

可以看到案例一已经有了运行结果
在这里插入图片描述
案例三报错提示如下,根据报错提示,我们只需要删除已经存在的result文件即可

另一个报错暂未解决

关注