Hadoop环境安装

Hadoop环境安装 （CLI）

主要参考：

https://blog.csdn.net/qq_36561697/article/details/80994405

https://blog.csdn.net/weixin_38883338/article/details/82928809

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable2/

1. 创建新用户

$ sudo useradd -m hadoop -s /bin/bash  #创建hadoop用户，并使用/bin/bash作为shell
$ sudo passwd hadoop                   #为hadoop用户设置密码，之后需要连续输入两次密码
$ sudo adduser hadoop sudo             #为hadoop用户增加管理员权限
$ su  hadoop                          #切换当前用户为用户hadoop
$ sudo apt-get update                  #更新hadoop用户的apt,方便后面的安装

2. 安装java8

sudo apt install openjdk-8-jre-headless

3. 配置环境变量、

在.bashrc文件添加如下指令：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre          
#这里要找到你的java安装目录 详见 https://blog.csdn.net/qq_38101834/article/details/85799976
#不加bin
#https://blog.csdn.net/weixin_38883338/article/details/82079194
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

4. 安装hadoop

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

$ sudo tar -zxvf  hadoop-2.10.1.tar.gz -C /usr/local    #解压到/usr/local目录下
$ cd /usr/local
$ sudo mv  hadoop-2.10.1    hadoop                      #重命名为hadoop
$ sudo chown -R hadoop ./hadoop                        #修改文件权限

#给hadoop配置环境变量，将下面代码添加到.bashrc文件:

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bashrc #刷新配置文件

java 和 hadoop安装完后

下面的分布式配置按这个博客：

https://blog.csdn.net/qq_36561697/article/details/80994405

5. 修改.sh文件

6. 修改两个xml

7. NameNode 的格式化

   /usr/local/hadoop/bin/hdfs namenode -format
   

8. 启动namenode和datanode进程，并查看启动结果

   $ /usr/local/hadoop/sbin/start-dfs.sh
   
   hadoop@DESKTOP-EMFKL37:/usr/local/hadoop$ jps
   12481 DataNode
   12308 NameNode
   12693 SecondaryNameNode
   12810 Jps
   

打开网站 http://localhost:50070/ 观察结果

hadoop目录

/usr/local/hadoop

伪分布式

前面服务已经启动了

可以在hadoop的log目录下看日志

运行实例：

留坑

运行实例（均未成功）

将 Hadoop 的 xml 配置文件复制到 input

$ cd ~
$ mkdir input
$ cp /usr/local/hadoop/etc/hadoop/*.xml input

执行 share 目录下的 MapReduce 程序

ls /usr/local/hadoop/share/hadoop/mapreduce/

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar grep input output 'dfs[a-z.]+'

hadoop相关命令

打开和关闭Hadoop：

先进入到 hadoop目录中 https://blog.csdn.net/qq_37788081/article/details/80333875

cd /usr/local/hadoop

./sbin/start-dfs.sh   打开hadoop

./sbin/stop-dfs.sh   关闭hadoop

hadoop debug

#提示 
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

hadoop@DESKTOP-EMFKL37:/usr$ sudo find . -name "libhadoop.so"
./local/hadoop/lib/native/libhadoop.so

在~/.bashrc中添加

export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native/ 
#即 上面.so文件的目录