Hadoop-3.3-1安装与环境搭建

一、安装Hadoop

下载地址：
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

二、解压文件

1.解压文件
sudo tar -zxf ~/Downloads/hadoop-3.3.1.tar.gz -C /usr/local

2.修改文件名以及权限
cd /usr/local
sudo mv ./hadoop-3.3.1 ./hadoop
sudo chown -R y ./hadoop

y是我的用户名

三、查看版本信息

hadoop/bin/hadoop version

由于我这里还没安装java，没配置环境查看不了。

四、创建hadoop用户
sudo useradd -m hadoop -s /bin/bash 创建新用户
sudo passwd hadoop 为用户设置密码
sudo adduser hadoop sudo 为用户设置管理权限

2、更新apt

sudo apt-get update

3、安装ssh server 和配置ssh

集群，单节点模式都需要用到ssh登录，默认ubuntu上面已经有ssh client，还需要安装ssh server
sudo apt-get install openssh-server

设置无密码登录


将生成的SSH的公钥加入目标机器的SSH目录下，这里采用cat命令与>>，cat file1>>file2的含义为将file1内容append到file2中。
hadoop@ubuntu:~/.ssh$ cat ./id_rsa.pub >> ./authorized_keys

安装完成之后，查看ssh是否启动
sudo /etc/init.d/ssh status

如果没有启动，使用一下命令启动：
sudo /etc/init.d/ssh start

4、java环境变量的配置
下载安装linux 64位的jdk
下载地址：
https://www.oracle.com/java/technologies/downloads/#java8

创建java目录存放jdk文件

修改文件名

配置环境变量：
vim ~/.bashrc
在末尾添加这一段
export JAVA_HOME=/usr/local/lib/java/jdk1.8
export JRE_HOME=$JAV{A}_{H}OME/jreexportCLASSPATH=.:${JAVA_HOME}/lib:$JR{E}_{H}OME/libexportPATH=${JAVA_HOME}/bin:$PATH

然后
source ~/.bashrc
java -version

hadoop的java环境变量配置

添加这一句：export JAVA_HOME=/usr/local/lib/java/jdk1.8

然后执行命令和查看版本信息：

运行WordCount例子：
hadoop@ubuntu:/usr/local/hadoop$ sudo mkdir input
hadoop@ubuntu:/usr/local/hadoop$ sudo cp ./etc/hadoop/.xml ./input
hadoop@ubuntu:/usr/local/hadoop$ sudo ./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-.jar grep ./input ./output ‘dfs[a-z.]+’

执行
hadoop@ubuntu:/usr/local/hadoop$ cat ./output/*
可以得出一下结果：

五、Hadoop伪分布式安装：

在配置文件./etc/hadoop下，修改两个配置文件：
①core-site.xml文件：


hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.


fs.defaultFS
hdfs://localhost:9000


②修改hdfs-site.xml文件：


dfs.replication
1


dfs.namenode.name.dir
file:/usr/local/hadoop/tmp/dfs/name


dfs.datanode.data.dir
file:/usr/local/hadoop/tmp/dfs/data

如果需要从伪分布式模式切换回非分布式模式，需要删除core-site.xml 中的配置项

输入命令: ./bin/hdfs namenode -format
结果如下：

以下是遇到的问题：

第一个：
1、启动不了进程，这里是因为在ssh没有设置免密登录。

2、将start-dfs.sh，stop-dfs.sh(在hadoop安装目录的sbin里)两个文件顶部添加以下参数


3、将start-yarn.sh，stop-yarn.sh(在hadoop安装目录的sbin里)两个文件顶部添加以下参数

第二个：
是因为logs文件没有权限。

修改logs文件权限
sudo chmod 777 logs
y@ubuntu:/usr/local/hadoop$ sudo chmod 777 logs

第三个：进程占用

第四个还是启动不了所有进程：
然后就在etc/hadoop/hadoop-env.sh最后一行加上HADOOP_SHELL_EXECNAME=root

隔了一周没启动，现在启动不会有上面的错误，但是进程没够六个

修改core-site.xml配置文件中的配置中的目录下的文件的权限，然就启动就多了两个进程


第六个问题：
namenodes进程还是没有，
开启防火墙

关闭防火墙

还是namenodes进程没找到。

进行以下几个修改：
然后我修改用户对Hadoop目录的操作权限：sudo chown -R hadoop /usr/local/hadoop
删掉原来的tmp目录，重新启动要用 ./bin/hdfs namenode -format启动 不能用sudo ./bin/hdfs namenode -format

然后就有了namenode进程了。

浏览器访问localhost:9870

运行实例：

输入一下命令：

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar grep input output ‘dfs[a-z.]+’

第七第八个问题
运行实例执行jar 命令时，这里出现了两个错误，一个配置伪分布式时修改了mapred-site.xml 和yarn-site.xml 文件，是不用修改的，删掉原来的修改，
然后运行再次jar命令时，报错：
Java HotSpot™ 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000e9100000, 105381888, 0) failed; error=‘Cannot allocate memory’ (errno=12)
就是内存不够，然后我把一些进程给关了，然后就可以了

ok!

就简简单单的Hadoop环境配置，但是遇到了很多问题，一开始我在网上随便找一个教程就配置环境了，这不是很可以，他的版本与我的版本不一样等等原因，就出现了很多问题。建议找一个比较详细的而且版本相同的教程进行配置。