数据工程第三次作业（操作hdfs）

数据工程作业第三次

第一步安装hdfs

$ pip install hdfs

第二步启动hdfs

start-dfs.sh 
start-yarn.sh 

查看是否启动成功

jps

• 该命令查看java进程
• 应该获得以下输出
  

第三步 打开jupyter 输入以下命令

打开jupter

jupyter lab

• 输出
  

• 访问网页(我是本地wsl安装的ubuntu虚拟机，所以是这样，你们的网址肯定不同)

我的网页是 https:127.0.0.1:9999/lab

第四步操作

输入代码，完成作业

第五，可能会遇到的问题

• 找不到hdfs这个包
  • 解决方法：重新下载hdfs的包
• 找不到某一个文件节点
  • 解决方法: 删除hdfs
    
  • 然后从建立hdfs这里开始重新配置
    • hdfs namenode -format
  • 原因分析：datanode 和namenode不一致导致，就是因为安装的时候造成的

其他问题请私聊