Ubuntu16.04+hadoop2.7.3环境搭建

最新推荐文章于 2022-04-28 18:12:16 发布

Dnoino

最新推荐文章于 2022-04-28 18:12:16 发布

阅读量399

点赞数 1

分类专栏： hadoop 文章标签： ubuntu 大数据 hadoop

hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

　　转载请注明源出处：http://www.cnblogs.com/lighten/p/6106891.html

　　最近开始学习大数据相关的知识，最著名的就是开源的hadoop平台了。这里记录一下目前最新版的hadoop在Ubuntu系统下的搭建过程。搭建过程中发现一篇十分清晰全面的搭建文章，本文删减了一些不重要的内容，细化了一些内容。可以点击此处查看：原文。

1.JDK的安装

　　hadoop是使用Java开发的一个大数据平台，自然少不了Java运行环境的安装了，当然使用hadoop不一定需要java语言，hadoop的开发支持很多种语言。

　　Java运行环境的安装详见另一篇文章，这里就不叙述了：Ubuntu16.04安装JDK。

2.配置SSH及免密码登陆

　　hadoop需要使用SSH的方式登陆，linux下需要安装SSH。客户端已经安装好了，只需要安装服务端就可以了：

　　sudo apt-get install openssh-server

　　测试登陆本机 ssh localhost 输入yes就应该可以登录了。但是每次输入比较繁琐，如果是集群那就是灾难了，所以要配置成免密码登陆的方式。

　　一共有三步：

　　1.生成公钥私钥 ssh -keygen -t rsa，将在~/.ssh文件夹下生成文件id_rsa：私钥，id_rsa.pub：公钥

　　2.导入公钥到认证文件，更改权限：

　　　　1）导入本机：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

　　　　2）导入服务器：

　　　　　首先将公钥复制到服务器：

　　　　　　scp ~/.ssh/id_rsa.pub xxx@host:/home/xxx/id_rsa.pub

　　　　　然后，将公钥导入到认证文件，这一步的操作在服务器上进行：

　　　　　　cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

　　　　　最后在服务器上更改权限：

　　　　　　chmod 700 ~/.ssh
　　　　 chmod 600 ~/.ssh/authorized_keys

　　　　3）测试：ssh localhost 第一次需要输入yes，之后就不需要了。

3.Hadoop的安装

　　1.下载hadoop安装包，下载地址：点这里。下载binary就行了。也可以使用wget命令下载。

　　2.解压、移动到你想要放置的文件夹

　　　　tar -zvxf hadoop-2.7.3.tar.gz

　　　　mv ./hadoop-2.7.3.tar.gz /opt/hadoop

　　3.创建hadoop用户和组，并授予执行权限

　　　　sudo addgroup hadoop

　　　　sudo usermod -a -G hadoop xxx 　　#将当前用户加入到hadoop组

　　　　sudo gedit etc/sudoers　　#将hadoop组加入到sudoer

　　　　在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL

　　　　sudo chmod -R 755 /opt/hadoop

　　　　sudo chown -R xxx:hadoop /opt/hadoop //否则ssh会拒绝访问

　　　这些都是一般需要的操作，这篇文章还进行了其它的配置，如果遇到问题可以看看，是不是由于这些配置导致的：点这里。

　　4.修改配置文件，和JDK的安装一样，可以选择修改哪个文件。这里修改/etc/profile

　　　　export HADOOP_HOME=/opt/hadoop2.7.3

　　　　export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

　　　　source /etc/hadoop

　　　这篇配置文章还配了很多其它配置，我暂时没有配置，遇到问题，可以做为参考。点这里。

　　5.测试是否配置成功

　　　　hadoop version

　　6.hadoop单机配置（非分布式模式）

　　　　hadoop默认是非分布式模式，不需要进行其它配置。可以测试demo来观察是否配置正确。

　　　　cd /opt/hadoop

　　　　mkdir input

　　　　cp README.txt input

　　　　bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.3-sources.jar org.apache.hadoop.examples.WordCount input output

　　7.hadoop伪分布式配置

　　　　伪分布式只需要更改两个文件就够了。配置文件都在hadoop目录下的etc/hadoop中。

　　　　首先是core-site.xml，设置临时目录位置，否则默认会在/tmp/hadoo-hadoop中，这个文件夹在重启时可能被系统清除掉，所以需要改变配置路径。

 
          <configuration> 
         
          <property> 
         
          <name>hadoop.tmp.dir</name> 
         
          <value>file:/opt/hadoop/tmp</value> 
         
          <description>Abase 
          for 
          other temporary directories.</description> 
         
          </property> 
         
          <property> 
         
          <name>fs.defaultFS</name> 
         
          <value>hdfs: 
          //localhost:9000</value> 
         
          </property> 
         
          </configuration>

　　　　然后就是hdfs-site.xml，伪分布式只有一个节点，所以必须配置成1。还配置了datanode和namenode的节点位置。

 
          <configuration> 
         
          <property> 
         
          <name>dfs.replication</name> 
         
          <value> 
          1 
          </value> 
         
          </property> 
         
          <property> 
         
          <name>dfs.namenode.name.dir</name> 
         
          <value>file:/opt/hadoop/tmp/dfs/name</value> 
         
          </property> 
         
          <property> 
         
          <name>dfs.datanode.data.dir</name> 
         
          <value>file:/opt/hadoop/tmp/dfs/data</value> 
         
          </property> 
         
          </configuration>

　　　　接着执行format命令，格式化名称节点：./bin/hdfs namenode -format

　　　　开启hdfs：./sbin/start-dfs.sh 如果出现ssh认证输入yes就可以了。

　　　　输入jps命令查看是否启动成功

　　　　访问http://localhost:50070 查看节点信息。

　　　　关闭hdfs: ./sbin/stop-dfs.sh

　　　　上面都是hdfs的配置，接下来就需要配置mapreduce的相关配置了，不配这个也不会影响到什么。但是缺少了资源调度，hadoop2.x版本使用yarn来进行任务调度管理，这是与1.x版本最大的不同。

　　　　cp ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

　　　　vim ./etc/hadoop/mapred-site.xml

 
          <configuration> 
         
          <property> 
         
          <name>mapreduce.framework.name</name> 
         
          <value>yarn</value> 
         
          </property> 
         
          </configuration>

　　　　修改yarn的配置文件：yarn-site.xml

 
          <configuration> 
         
          <property> 
         
          <name>yarn.nodemanager.aux-services</name> 
         
          <value>mapreduce_shuffle</value> 
         
          </property> 
         
          </configuration>