hadoop 2.x 伪分布式的配置

最新推荐文章于 2022-07-21 15:15:20 发布

飞升飞

最新推荐文章于 2022-07-21 15:15:20 发布

阅读量477

点赞数

分类专栏： hadoop 文章标签： hadoop2.x hdfs yarn 伪分布式

本文链接：https://blog.csdn.net/u010930785/article/details/52144995

版权

hadoop 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

先写一下 hadoop 2.x 伪分布式的配置，有时间了写分布式的配置。

1.1修改主机名

sudo gedit /etc/hostname
改为：feige

1.2修改IP

   1、修改配置文件
sudo gedit /etc/network/interfaces
添加以下内容：注：#后面的注释信息不要加进去。
auto eth0                   #设置自动启动eth0接口              
iface eth0 inet static      #配置静态IP
address 192.168.8.88        #IP地址
netmask 255.255.255.0       #子网掩码
gateway 192.168.8.1         #默认网关 ------>例子
   2、修改DNS:注：#后面的注释信息不要加进去。
  sudo gedit /etc/resolve.conf
  nameserver 127.0.0.1 #记得加上
  nameserver 8.8.8.8 #当地dns服务器
   3、修改主机名和IP的映射关系
sudo gedit /etc/hosts
添加
192.168.8.88    feige
   4、关闭防火墙  
#查看防火墙状态
sudo ufw status
#开启防火墙
sudo ufw enable     
sudo ufw default deny
#关闭防火墙
sudo ufw disable
   5、重启
sudo reboot
   6、查看ip是否配置成功 
   lifei@feige:~$ ifconfig
eth0      Link encap:以太网  硬件地址 00:25:64:a4:54:34  
          inet 地址:192.168.8.88  广播:192.168.8.255  掩码:255.255.255.0
          inet6 地址: fe80::225:64ff:fea4:5434/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  跃点数:1
          接收数据包:3 错误:0 丢弃:0 过载:0 帧数:0
          发送数据包:45 错误:0 丢弃:0 过载:0 载波:0
          碰撞:0 发送队列长度:1000 
          接收字节:386 (386.0 B)  发送字节:7258 (7.2 KB)
          中断:21 Memory:fe6e0000-fe700000 


lo        Link encap:本地环回  
          inet 地址:127.0.0.1  掩码:255.0.0.0
          inet6 地址: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  跃点数:1
          接收数据包:207 错误:0 丢弃:0 过载:0 帧数:0
          发送数据包:207 错误:0 丢弃:0 过载:0 载波:0
          碰撞:0 发送队列长度:0 
          接收字节:14961 (14.9 KB)  发送字节:14961 (14.9 KB)

    如果网络无法启动或不稳定，可尝试如下操作：
    sudo gedit /etc/NetworkManager/NetworkManager.conf
    managed=false设置成managed=true

2. jdk的下载及配置:http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html 官方下载地址，可下载历史版本的jdk

   1.从官方下载jdk,本人下载的是历史版本jdk1.7.0_79.tar.tz
   2.解压缩jdk     tar -xzvf jdk1.7.0_79.tar.tz
   3.环境变量的配置
     可以在/etc/profile(系统全局环境配置)或者在~/.bashrc(当前用户)中配置。本人在/etc/profile中配置
     sudo gedit /etc/profile
     追加内容如下:
#java jdk
export JAVA_HOME=/usr/java/jdk1.7.0_79 
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH

#刷新配置
source /etc/profile

3.安装Hadoop

3.1获得hadoop安装包
网址：http://hadoop.apache.org/releases.html#Download 本人下载的是历史版本hadoop-2.2.0.tar.gz
3.2解压hadoop安装包
sudo mkdir /usr/hadoop
#解压到/usr/hadoop目录下
sudo tar -zxvf hadoop-2.2.0.tar.gz -C /usr/hadoop/
3.3修改配置文件（5个）
在hadoop-2.2.0/etc/hadoop下
第一个：hadoop-env.sh
sudo gedit hadoop-env.sh
#在27行修改
export JAVA_HOME=/usr/java/jdk1.7.0_79

第二个：core-site.xml
sudo gedit core-site.xml
<configuration>
<!-- 指定HDFS老大（namenode）的通信地址 -->
      <property>
<name>fs.defaultFS</name>
<value>hdfs://feige:9000</value>
      </property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
     <property>
     <name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop-2.2.0/tmp</value>
     </property>
</configuration>
第三个：hdfs-site.xml
sudo gedit hdfs-site.xml
<configuration>
<!-- 设置hdfs副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

第四个：mapred-site.xml.template 需要重命名： sudo mv mapred-site.xml.template mapred-site.xml
sudo gedit mapred-site.xml
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

第五个：yarn-site.xml
sudo gedit yarn-site.xml

<configuration>
<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

3.4将hadoop添加到环境变量
sudo gedit /etc/profile

export HADOOP_HOME=/usr/hadoop/hadoop-2.2.0
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

3.5格式化HDFS（namenode）第一次使用时要格式化
                hdfs namenode -format
                成功时有提示 /usr/hadoop/hadoop2.2.0/tmp/dfs/name has been successful
                异常：  
                java.io.IOException: Cannot create directory /usr/hadoop/hadoop-2.2.0/tmp/dfs/name/current
       at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.clearDirectory(Storage.java:301)
       at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:523)
       at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:544)
       at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:147)
       at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:837)
       at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1213)
       at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1320)

       如果出现 不能创建目录时，修改 改用户拥有改文件夹操作的权限              
       sudo chown -R lifei /usr/hadoop  lifei是用户名 

3.6启动hadoop
ubuntu 默认没有安装ssh
安装
Ubuntu缺省安装了openssh-client,所以在这里就不安装了，如果你的系统没有安装的话，再用apt-get安装上即可。
安装ssh-server
sudo apt-get install openssh-server
安装ssh-client
sudo apt-get install openssh-client

确认sshserver是否安装好
ps -e | grep sshd
 450 ?        00:00:00 sshd

如果看到sshd那说明ssh-server已经启动了。
如果只有ssh-agent说明ssh-server还没有启动，需要执行命令启动ssh服务：
/etc/init.d/ssh start
注：在ubuntu-12.04-server-i386.iso安装中只显示sshd这一项：
扩展配置
SSH默认服务端口为22，用户可以自已定义成其他端口，如222，需要修改的配置文件为：
/etc/ssh/sshd_config
把里面的Port参数修改成222即可
然后重启SSH服务：
sudo/etc/init.d/ssh restart
       
配置ssh免登陆
生成ssh免登陆密钥
cd ~，进入到我的home目录
cd .ssh/
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
cp id_rsa.pub authorized_keys (必须是这个文件)

启动hdfs和YARN
sbin/start-all.sh(已经过时了)
启动hdfs
sbin/start-dfs.sh 

再启动YARN
sbin/start-yarn.sh 

3.7验证是否启动成功
使用jps命令验证
27408 NameNode  hdfs 老大
28218 Jps     java下命令是一个main方法
27643 SecondaryNameNode  是NameNode的助理
28066 NodeManager 是yarn的小弟 伪分布式为1个
27803 ResourceManager 是yarn的老大
27512 DataNode   hdfs 小弟

http://192.168.8.88:50070  (HDFS管理界面)
http://192.168.8.88:8088 （yarn管理界面）

测试 hdfs 上传一个本地文件到hdfs
hadoop fs -put 本地文件路径  /file
下载一个文件到本地
hadoop fs -get /file 本地文件路径
      测试MR和YARN
      cd /usr/hadoop/hadoop-2.2.0/share/hadoop/mapreduce   找实例jar    
      sudo vi word  写一些 单词  
      wc word     linux下统计文本的命令
      more word   linux下查看文本的命令
      which hadoop 
      hadoop fs -put word /word
      hadoop fs -ls /
      hadoop jar  hadoop-mapreduce-examples-2.2.0.jar wordcount /word /wordout 
      配置成功
      出错时查看日志文件
      /usr/hadoop/hadoop-2.2.0/logs  查看以log结尾的文件

至此配置完毕