我在后面学习Hive的时候,在最开始我的Hadoop集群搭建的有问题,所以我决定重头搭建,然后做出笔记。写了一些自己遇到的坑,这里来把这些坑给填上。
Hadoop基本安装配置主要包括以下5个步骤。
(1)创建Hadoop用户
(2)安装Java
(3)设置SSH登录权限
(4)单机安装配置
(5)伪分布式安装配置
我使用的操作系统是Ubuntu14.4,Hadoop版本为2.7.3
第一步,先安装一个Linux系统,创建Hadoop用户
我用的是VMware虚拟机,我大学生涯就用了这一个虚拟机,感觉短小精悍功能强大。
我选择的是Ubuntu系统,因为我感觉Ubuntu的系统用起来比较舒服,并且遇到问题在网络上写Ubuntu的解决方案也比较多,推荐使用Ubuntu。
![](http://ajiu.sunning123.top/qiniu_picGO/20190515175725.png)
这里我就完成了第一步的操作
在创建虚拟机的过程中我就建立了一个Hadoop用户,为了规范,在使用Linux系统对于用户比较敏感,因为Linux是多用户的。尽量养成一种好的习惯,名字为Hadoop用户那么这个用户就是关于Hadoop的。
第二步,安装Java
我以为是新装的Ubuntu不能连接FileZilla,需要下载ssh
安装ssh
sudo apt-get install openssh-server
安装完后查看ssh server是否启动
sudo /etc/init.d/ssh status
如果没有启动,使用一下命令启动:
sudo /etc/init.d/ssh start
根据ifconfig查看IP,用FileZilla连接,使用非常简单一看就会。
网上下载一个JDK-linux版本的
这里遇到了一个坑,一定要注意和自己Linux位数相同的看好自己的是32位还是64位,我下的12.0.1版本的JDK
这里一定不要下高版本的JDK,我在后面的Hive数据仓库安装的时候出现了问题,最后我改成改了1.8版本的。
sudo uname --m
之后就是JDK的配置问题,网络有有好多的配置方法可以参考
特别注意:在配置环境变量的时候
sudo gedit ~/.bashrc #这里配置是给当前用户配置的环境变量,如果用的prefile配置则不考虑用户的问题,特别注意
第三步,SSH登录权限设置,设置无密码登录
$ sudo apt-get install openssh-server #安装SSH server
$ ssh localhost #登陆SSH,第一次登陆输入yes
$ exit #退出登录的ssh localhost
$ cd ~/.ssh/ #如果没法进入该目录,执行一次ssh localhost
$ ssh-keygen -t rsa
![](http://ajiu.sunning123.top/qiniu_picGO/20190515203918.png)
其中,第一次回车是让KEY存于默认位置,以方便后续的命令输入。第二次和第三次是确定passphrase,相关性不大。两次回车输入完毕以后,如果出现类似于下图所示的输出,即成功:
![](http://ajiu.sunning123.top/qiniu_picGO/20190515203954.png)
之后再输入
$ cat ./id_rsa.pub >> ./authorized_keys #加入授权
$ ssh localhost #此时已不需密码即可登录localhost
第四步,单机安装Hadoop
我安装的Hadoop版本为2.7.3,下载地址为http://hadoop.apache.org/releases.html#Download
在目录中选择hadoop-2.7.3.tar.gz进行下载就行了
我是放在了/usr/local/haddoop文件夹下,注意这里一定要改这个文件夹的权限
sudo chown -R hadoop ./hadoop #修改文件权限
然后给hadoop配置环境变量,在当前用户下配置
gedit ~/.bashrc
添加如下代码:
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3 #这里的路径为你安装hadoop的文件夹
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
注意:一定要看好自己装的文件夹,别把Hadoop的上级文件放上去。就是在这个目录下一级是如下图所示:
![](http://ajiu.sunning123.top/qiniu_picGO/20190515205305.png)
在使用source ~/.bashrc命令出现如下图,证明你迈出了第一步,安装好了Hadoop但是没有集群的搭建,不要放弃,也不要觉得配置完了
接下来才是更大的难题,更容易出错的地方
第五步,Hadoop伪分布式安装
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。首先将jdk1.7的路径添(export JAVA_HOME=/usr/lib/jvm/java )加到hadoop-env.sh文件
![](http://ajiu.sunning123.top/qiniu_picGO/20190515211148.png)
配置hadoop-env.sh文件,在hadoop安装目录下的/etc/hadoop/
gedit hadoop-env.sh
修改第27行
export JAVA_HOME=你的JDK路径
接下来修改core-site.xml文件:
<configuration>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/hadoop-2.7.3/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
还要特别注意这里面的路径都要写你安装hadoop的路径,千万别错了。后面出问题找很麻烦
这里要注意要创建一个tmp的文件夹,防止以后有问题出现
![](http://ajiu.sunning123.top/qiniu_picGO/20190515211448.png)
然后配置hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop-2.7.3/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop-2.7.3/tmp/dfs/data</value>
</property>
</configuration>
注意:这里的路径也是安装路径
Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(可参考官方教程),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
配置完成后,执行 NameNode 的格式化
./bin/hdfs namenode -format
如果出现bash: ./bin/hdfs: No such file or directory
则可以去你Hadoop安装目录下的bin目录运行,是一样的
hdfs namenode -format
最后出现如下图,那么证明成功了
![](http://ajiu.sunning123.top/qiniu_picGO/20190515212307.png)
启动namenode和datanode进程,并查看启动结果
./sbin/start-dfs.sh
jps
![](http://ajiu.sunning123.top/qiniu_picGO/20190515223447.png)
然后停止
./sbin/stop-dfs.sh
jps
看看全启动是否成功,运行下面命令
start-all.sh
jps
如果出现下面的图就说明你安装成功了 恭喜你!!!
![](http://ajiu.sunning123.top/qiniu_picGO/20190515223929.png)
成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
![](http://ajiu.sunning123.top/qiniu_picGO/20190515224126.png)
参考
【更多的细节可以参照 https://www.cnblogs.com/87hbteo/p/7606012.html 感谢大佬】
【还有林子雨编写的《大数据技术 原理与应用》】