Ubuntu搭建Hadoop单机/伪分布式过程

一、安装前的准备

1. Vmware+Ubuntu22.04
2. Ubuntu中文设置 小问题：安装完中文语言包重启后没有变化：需要在setting->language里把灰色的“汉语”从后面拖拽到前面（自动变黑）之后再重启。
3. 虚拟机/主机 共享文件夹设置 小问题：在修改/etc/fstab文件使其开机时自动挂载共享文件夹时，要使用root账户才能修改，否则打开后输入内容不能保存，这时退出vim时输入 esc-> :q! 强制退出后再进入root账户修改。
4. 查看虚拟机ipv4地址：①右上角->有线已连接->有线设置->设置 。 ②sudo apt install net-tools下载完成后输入ifconfig来查看本机ipv4地址。
5. JAVA安装包下载地址
   Hadoop安装包下载地址

二、正式进入Hadoop配置环节

1. 正常使用该链接即可配置成功

2. 可能遇到的问题：
   ①查看软件版本时提示没有下载
   一般是路径或配置文件中的版本号不对应所导致。

   ②linux下jps报command not found
   该链接下的第一个方法即可解决：以 root 身份 vi /etc/profile，然后在下面加一行 export PATH="usr/java/jdk160_05/bin:$PATH"（其中 jdk160_05 是你的安装目录，依你自己的安装情况所决定），然后 source /etc/profile 即可解决。

   ③web端访问HDFS
   Hadoop集群启动后，可以通过自带的浏览器Web界面查看HDFS集群的状态信息，访问IP为NameNode所在服务器的IP地址，hadoop版本为3.0以前访问端口默认为9870，hadoop版本为3.0以后访问端口默认为50070。

   无法访问Web端的原因可能是防火墙没有关闭。这里针对防火墙问题无法访问给出解决方案

   systemctl stop firewalld //停止防火墙
   systemctl disable firewld //永久关闭防火墙
   

   ④如果不想每次转到路径之后才能启动Hadoop：

   vi ~/.bashrc //打开环境变量配置，添加如下路径
   export HADOOP_HOME=/usr/local/hadoop //hadoop的存放路径
   export PATH=${HADOOP_HOME}/sbin:${HADOOP_HOME}/bin:$PATH
   

   需要注意：这样做之后会导致hdfs下的文件操需要填写完整路径才能正确运行操作。

三、其他小点

1. hdfs常用命令、利用Java API与HDFS进行交互、Mergefile实例
2. WordCount实例
3. 林子雨老师大数据开源框架配套材料