1、 系统基本安装
1)、centos简易安装
2)、centos进一步安装
打开centos简易系统桌面上的镜像文件进行详细安装。
3)、VMware-tools安装
Centos系统安装完成后,安装VMware-tools。
2、修改主机名
[root@centosbasic Desktop]# vi /etc/sysconfig/network
[root@centosbasic Desktop]# vi /etc/hosts
3、修改网络配置
1)、修改网卡地址
[root@centosbasic Desktop]# vi /etc/udev/rules.d/70-persistent-net.rules
2)、修改ip地址和网卡地址
[root@centosbasic Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
3)、修改DNS
[root@centosbasic Desktop]# vi /etc/resolv.conf
验收标准:
成功ping通www.baidu.com
4、拍摄快照
5、中文输入法安装
#yum install "@Chinese Support"
6、关闭防火墙
1)、#查看防火墙状态
# /etc/rc.d/init.d/iptables status
2)、#关闭防火墙
#/etc/rc.d/init.d/iptables stop
3)、重启后永久性生效
关闭防火墙
[root@master Desktop]# chkconfig iptables off
开启防火墙
[root@master Desktop]# chkconfig iptables on
4)、即时生效,重启后失效
开启:service iptables start
关闭:service iptables stop
在开启了防火墙时,做如下设置,开启相关端口,修改 /etc/sysconfig/iptables 文件,添加以下内容:
-A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT #允许80端口通过防火墙
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT #允许3306端口通过防火墙
备注:很多网友把这两条规则添加到防火墙配置的最后一行,导致防火墙启动失败,
正确的应该是添加到默认的22端口这条规则的下面(http://www.centoscn.com/CentOS/help/2014/1030/4021.html)
7、关闭selinux
SELinux是一种基于 域-类型 模型(domain-type)的强制访问控制(MAC)安全系统,它由NSA编写并设计成内核模块包含到内核中,相应的某些安全相关的应用也被打了SELinux的补丁,最后还有一个相应的安全策略。虽然CentOS系统相比较而言相对安全稳定。在长期的linux实践中总结的经验是:SElinux是php的天敌。
我们经常由于CentOS系统默认系统的安全性配置导致些莫名其妙的问题,比如SElinux本来是用于安全子系统的权限控制,可是搞不好就发现限制多多,我们可以用如下方法快速关闭SElinux。(http://os.51cto.com/art/201004/192447.htm)
1)、查看selinux状态
[root@master Desktop]# /usr/sbin/sestatus -v
2)、查看selinux模式
[root@master Desktop]# getenforce
Enforcing
[root@master Desktop]# /usr/sbin/setenforce 0
[root@master Desktop]# getenforce
Permissive
[root@master Desktop]#
3)、立刻关闭selinux,重启后失效
[root@master Desktop]# /usr/sbin/setenforce 0
4)、立刻启动selinux,重启后失效
[root@master Desktop]# /usr/sbin/setenforce 1
5)、永久性启动、关闭selinux
[root@master Desktop]# vi /etc/selinux/config
SELINUX=disabled
保存后,重启服务器
[root@master Desktop]# init 6 或 reboot
8、下载并安装JAVA JDK系统软件
下载jdk1.7 64位 Linux版:http://pan.baidu.com/s/1hqkuMuo
jdk-7u67-linux-x64.rpm
1)、安装jdk
rpm –ivh jdk-7u67-linux-x64.rpm |
2)、配置环境变量
vi /etc/profile.d/java.sh
JAVA_HOME=/usr/java/jdk1.7.0_45/ CLASSPATH=.:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH |
3)、手动立即生效
source /etc/profile
4)、测试
jps
9、生成登录秘钥
1)、查看sshd服务状态
ps -e | grep ssh
或者
service sshd status
2)、切换到hadoop用户下
[root@master Desktop]# su hadoop [hadoop@master Desktop]$ cd /home/hadoop/ .bash_history .gconf/ Music/ .bash_logout .gconfd/ .nautilus/ .bash_profile .gnome2/ Pictures/ .bashrc .gnote/ Public/ .cache/ .gnupg/ .pulse/ .config/ .gstreamer-0.10/ .pulse-cookie .dbus/ .gtk-bookmarks .recently-used.xbel Desktop/ .gvfs/ .ssh/ .dmrc .ICEauthority Templates/ Documents/ .imsettings.log Videos/ Downloads/ .local/ .xsession-errors .esd_auth .mozilla/ |
3)、生成公钥和私钥
[hadoop@master ~]$ ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa |
[hadoop@master .ssh]$ cat id_rsa.pub > authorized_keys [hadoop@master .ssh]$ ll -a total 20 drwx------. 2 hadoop hadoop 4096 May 11 17:22 . drwx------. 25 hadoop hadoop 4096 May 11 17:22 .. -rw-rw-r-- 1 hadoop hadoop 395 May 11 17:22 authorized_keys -rw------- 1 hadoop hadoop 1675 May 11 17:16 id_rsa -rw-r--r-- 1 hadoop hadoop 395 May 11 17:16 id_rsa.pub [hadoop@master .ssh]$ |
4)、将authorized_keys分发
将authorized_keys分发到datanode1、datanode2、datanode3、secondarynamenode中:
scp /home/hadoop/.ssh/authorized_keys hadoop@192.168.57.135:/home/hadoop/.ssh
5)、启动sshd服务
/etc/init.d/sshd start
6)、永久开启sshd服务
chkconfig –add sshd
chkconfig sshd on
7)、sshd重启后失效
service sshd start
8)、ssh secondarynamenode激活
更加详尽配置参看:http://my.oschina.net/HIJAY/blog/317700
10、配置时间同步
[root@master Desktop]# crontab –e
0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org |
手动同步时间
/usr/sbin/ntpdate cn.pool.ntp.org
11、配置集群hosts列表
[hadoop@master hadoop-1.2.1-src]$ vi /etc/hosts |
12、单机版Hadoop安装环境变量
1)、下载Hadoop二进制代码
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz
或者
wget https://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/hadoop-1.0.3.tar.gz
2)、解压文件
[hadoop@master modules]$ tar xvf hadoop-1.2.1-bin.tar.gz |
3)、配置 hadoop-env.sh 环境变量
export HADOOP_HEAPSIZE=32 export JAVA_HOME= /usr/java/jdk1.7.0_67/ |
4)、配置java.sh文件中的HADOOP_HOME变量
export HADOOP_HOME=/home/hadoop/modules/hadoop-1.2.1/ export CLASSPATH=.:$HADOOP_HOME/lib:$CLASSPATH export PATH=$HADOOP_HOME/bin:$PATH |
5)、手动立即生效
source /etc/profile
6)、测试
jps
13、Hadoop单机版 安装配置
以hadoop用户权限做以下操作:
1)、配置 core-site.xml
2)、配置hdfs-site.xml
新建secondary目录
mkdir -p /home/hadoop/modules/data/hdfs/namesecondary
新建name目录
注意:此处name目录不能事先被建立,它由Hadoop格式化操作时自动创立。
mkdir -p /home/hadoop/modules/data/hdfs/name
mkdir -p /home/hadoop/modules/data1/hdfs/name
新建data目录
新建data目录,并修改目录权限为755.
mkdir -p /home/hadoop/modules/data/hdfs/data
mkdir -p /home/hadoop/modules/data1/hdfs/data
3)、配置mapred-site.xml
mkdir -p /home/hadoop/modules/data/mapred/mrlocal
mkdir -p /home/hadoop/modules/data/mapred/mrsystem
14、Hadoop集群搭建
在之前步骤的基础上,继续做以下步骤:
1)、将Hadoop目录复制到各节点中
scp -r /home/hadoop/modules/ hadoop@datanode4:/home/hadoop/modules/
2)、将/etc/hosts文件内容拷贝到各节点中
3)、在各节点安装jdk,并做相关配置
15、格式化namenode
此处namenode目录不能事先被建立,它由Hadoop格式化操作时自动创立。
hadoop namenode –format
16、启动各节点
1)、启动hdfs
start-dfs.sh
2)、启动mapreduce
start-mapred.sh
3)、启动namenode守护进程
hadoop-daemon.sh start namenode