hadoop2.X 伪分布环境配置

地址：http://archive.cloudera.com/cdh5/cdh/5/

http://archive.cloudera.com/cdh5/

hadoop原生地址：http://archive.apache.org/dist/

---

复制数据

rsync -r spark-1.6.1 root@10.161.20.93:/mnt/sd02

scp -r spark-1.6.1 root@10.161.20.93:/mnt/sd02

---

 

 

1.修改IP

第一种：通过Linux图形界面进行修改（强烈推荐）

进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.1.101 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply

第二种：修改配置文件方式（屌丝程序猿专用）

vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"    #虚拟机网卡名称。
BOOTPROTO="static"               ##static，静态ip，而不是dhcp，自动获取ip地址
HWADDR="00:0C:29:3C:BF:E7"
NM_CONTROLLED="yes"
ONBOOT="yes"       ### #开机启用网络配置。
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.1.101"           ###
NETMASK="255.255.255.0"          ###
GATEWAY="192.168.1.1"            ###
DNS1=8.8.8.8
DNS2=114.114.114.114
IPV6INIT=no
USERCTL=no

 

 

2.修改主机名 

vim /etc/sysconfig/network

3.修改IP映射关系

vim /etc/hosts

4.修改linux的启动项

修改 /etc/inittab文件

vim /etc/inittab

最后一行改为id:3:initdefault:

如果要启动到桌面，则改为id：5：initdefault

如果之前安装了桌面环境，要从命令行切换到桌面下，只需要执行 init 5 或 startx 即可。

 

5.修改防火墙

#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#重启防火墙
service iptables restart
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
查看状态
chkconfig | grep iptables

----------------------------------------------
service iptables stop
service iptables status
service ip6tables stop
service ip6tables status
chkconfig iptables off
chkconfig ip6tables off

 

关闭 SELINUX

vi /etc/selinux/config
SELINUX=disabled
临时关闭：
setenforce 0
修改配置文件/etc/selinux/config（重启生效）：
将 SELINUX=enforcing 改为 SELINUX=disabled
查看 SELINUX 状态：
1、 /usr/sbin/sestatus –v
SELinux status: enabled（enabled：开启； disabled：关闭）
2、使用命令： getenforce

或开放端口：

开放端口：vi /etc/sysconfig/iptables

service iptables restart

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT

 

6.修改sudo权限

默认情况下， 普通用户执行sudo <指令> 的时候会出现如下错误：

xxx is not in the sudoers file

解决办法：

$ su -

# chmod u+w /etc/sudoers

# vi /etc/sudoers

找到如下行：

root ALL=(ALL) ALL

在其下面添加：

knityster ALL=(ALL) ALL"

(其中的knityster为你要添加的用户名)

保存

最后：

# chmod 440 /etc/sudoers

7安装jdk

CentOS，自带OpenJdk，不过运行CDH5需要使用Oracle的Jdk，需要Java 7的支持。
卸载自带的OpenJdk，使用 rpm -qa | grep java 查询java相关的包，
使用 rpm -e --nodeps xxx包名 卸载。
去Oracle的官网下载jdk的rpm安装包，并使用 rpm -ivh 包名 安装之。
查询
 rpm -qa | grep java 查询 java 相关的包，
卸载
使用 rpm -e --nodeps 包名 卸载之。

创建软链接
ln -s  源文件   链接目录
ln -s  /usr/jdk-7u_65-i585  /usr/jdk
将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/jdk
export PATH=$PATH:$JAVA_HOME/bin

8.安装hadoop

先上传hadoop的安装包到服务器上去/home/hadoop/
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
3.1配置hadoop
第一个：hadoop-env.sh
    vim hadoop-env.sh
    #第27行
    export JAVA_HOME=/usr/java/jdk1.7.0_65
    
第二个：core-site.xml

    <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://weekend-1206-01:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.4.1/tmp</value>
            </property>
    
第三个：hdfs-site.xml   hdfs-default.xml  (3)
    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
    
第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
    mv mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    <!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
    
第五个：yarn-site.xml
    <!-- 指定YARN的老大（ResourceManager）的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>weekend-1206-01</value>
</property>
    <!-- reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
 </property>

第六个：slaves
         hostname4slave1

         hostname4slave2
3.2将hadoop添加到环境变量

vim /etc/proflie
    export JAVA_HOME=/usr/java/jdk1.7.0_65
    export HADOOP_HOME=/itcast/hadoop-2.4.1
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

3.3格式化namenode（是对namenode进行初始化） 

    $HADOOP_HOME/bin
    hdfs namenode -format (hadoop namenode -format)

.配置ssh免登陆

#生成ssh免登陆密钥
#进入到我的home目录
    cd ~/.ssh
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost

ssh-copy-id    otherhostname

    
3.4启动hadoop
    先启动HDFS
    sbin/start-dfs.sh
    
    再启动YARN
    sbin/start-yarn.sh
    
3.5验证是否启动成功
    使用jps命令验证
    27408 NameNode
    28218 Jps
    27643 SecondaryNameNode
    28066 NodeManager
    27803 ResourceManager
    27512 DataNode

    http://192.168.1.101:50070 （HDFS管理界面）
    http://192.168.1.101:8088 （MR管理界面）

8.Centos6.5 python2.6.6 升级到2.7.5

查看python的版本
  1. # python  -V    
  2. Python 2.6.6  
1.下载Python-2.7.5至/usr/local/
  1. #  wget https://python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2  
2.解压
  1. #  tar -jxvf Python-2.7.5.tar.bz2  
3.更改工作目录
  1. #cd Python-2.7.5  
4.安装
  1. #  ./configure --enable-unicode=ucs4
  2. #  make all             
  3. #  make install  
  4. #  make clean  
  5. #  make distclean  
编译之后，会在/usr/local/bin/目录生成相关python的文件
5.查看版本信息
#  /usr/local/bin/python2.7 -V  
6.建立软连接，使系统默认的 python指向 python2.7
  1. # mv /usr/bin/python /usr/bin/python2.6.6  
  2. # ln -s /usr/local/bin/python2.7 /usr/bin/python  
7.重新检验Python 版本
  1. #  python -V  
8解决系统 Python 软链接指向 Python2.7 版本后，因为yum是不兼容 Python 2.7的，所以yum不能正常工作，我们需要指定 yum 的Python版本
  1. #  vi /usr/bin/yum  
将文件头部的
#!/usr/bin/python
改成
#!/usr/bin/python2.6.6

 

9.VMware克隆镜像匹配

1、克隆之后的操作系统需要重新分配物理地址

a、修改/etc/sysconfig/network-scripts/ifcfg-eth0 文件中的物理地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0

删除两行：UUID和HWADDR物理地址   

修改：      IPADDR

b、删除文件/etc/udev/rules.d/70-persistent-net.rules

rm -rf /etc/udev/rules.d/70-persistent-net.rules

2、修改主机名

vi /etc/sysconfig/network 文件

3、修改hosts

vi /etc/hosts 文件。

在文件最后增加一行 ：IP 地址 主机名

192.168.239.6 node8

192.168.239.7 node7

 

4、重启启动linux: init 6

9.配置ssh免登陆

#生成ssh免登陆密钥
#进入到我的home目录
    cd ~/.ssh
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost

ssh-copy-id    otherhostname