Hadoop集群环境搭建
1、准备资料
虚拟机、Redhat6.5、hadoop-1.0.3、jdk1.6
2、基础环境设置
2.1配置机器时间同步
#配置时间自动同步
crontab -e
| 0 1 * * * root /usr/sbin/ntpdate cn.pool.ntp.org |
#手动同步时间
/usr/sbin/ntpdate cn.pool.ntp.org
2.2配置机器网络环境
#配置主机名 (hostname)
vi /etc/sysconfig/network
| NETWORKING=yes #启动网络 NETWORKING_IPV6=no HOSTNAME=master #主机名 |
#修第一台 hostname 为 master
hostname master
#检测
hostname
#使用 setup 命令配置系统环境
setup
#检查ip配置
cat /etc/sysconfig/network-scripts/ifcfg-eth0
| # Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE] DEVICE=eth0 BOOTPROTO=none HWADDR=00:0c:29:fc:3a:09 ONBOOT=yes NETMASK=255.255.255.0 IPADDR=192.168.1.100 TYPE=Ethernet |
#重新启动网络服务
/sbin/service network restart
#检查网络ip配置
/sbin/ifconfig
2.3关闭防火墙
2.4配置集群hosts列表
vi /etc/hosts
#添加一下内容到 vi 中
| 192.168.1.100 master 192.168.1.101 node1 #全分布式用到 192.168.1.101 node2 #全分布式用到
|
2.5创建用户账号和Hadoop部署目录和数据目录
#创建 hadoop 用户
/usr/sbin/groupadd hadoop
#分配 hadoop 到 hadoop 组中
/usr/sbin/useradd hadoop -g hadoop
#修改hadoop用户密码
Passwd hadoop
#创建 hadoop 代码目录结构
mkdir -p /opt/modules/hadoop/
#修改 目录结构权限拥有者为为hadoop
chown -R hadoop:hadoop /opt/modules/hadoop/
2.6生成登陆密钥
#切换到Hadoop 用户下
su hadoop
cd /home/hadoop/
#在master、node1、node2三台机器上都执行下面命令， 生成公钥和私钥
ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa
cd /home/hadoop/.ssh
#把node1、node2上的公钥拷贝到master上
scp /home/hadoop/.ssh/ id_rsa.pub hadoop@master:/home/hadoop/.ssh/node1_pubkey
scp /home/hadoop/.ssh/ id_rsa.pub hadoop@master:/home/hadoop/.ssh/node2_pubkey
#在master上生成三台机器的共钥
cp id_rsa.pub authorized_keys
cat node1_pubkey >> authorized_keys
cat node2_pubkey >> authorized_keys
rm node1_pubkey node2_pubkey
#吧master上的共钥拷贝到其他两个节点上
scp authorized_keys node1: /home/hadoop/.ssh/
scp authorized_keys node1: /home/hadoop/.ssh/
#验证
ssh master
ssh node1
ssh node2
没有要求输入密码登陆，表示免密码登陆成功
3、伪分布式环境搭建
3.1下载并安装 JAVA JDK系统软件
#下载jdk
wget http://60.28.110.228/source/package/jdk-6u21-linux-i586-rpm.bin
#安装jdk
chmod +x jdk-6u21-linux-i586-rpm.bin
./jdk-6u21-linux-i586-rpm.bin
#配置环境变量
vi /etc/profile.d/java.sh
| export JAVA_HOME=/usr/java/jdk1.6.0_21/ export PATH=$JAVA_HOME/bin: $PATH |
#手动立即生效
source /etc/profile
3.2 Hadoop 文件下载和安装
#切到 hadoop 安装路径下
cd /opt/modules/hadoop/
#从 hadoop.apache.org 下载Hadoop 安装文件
wget http://labs.renren.com/apache-mirror/hadoop/common/hadoop-1.0.3/hadoop-1.0.3.tar.gz
#如果已经下载,请复制文件到 安装hadoop 文件夹
cp hadoop-1.0.3.tar.gz /opt/modules/hadoop/
#解压hadoop-1.0.3.tar.gz
cd /opt/modules/hadoop/
tar -xvf hadoop-1.0.3.tar.gz
#配置环境变量
vi /etc/profile.d/java.sh
| export JAVA_HOME=/usr/java/jdk1.6.0_21/ export HADOOP_HOME=/opt/modules/hadoop/hadoop-1.0.3/ export HADOOP_HOME_WARN_SUPPRESS=1 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH |
#手动立即生效
source /etc/profile
3.3配置 hadoop-env.sh 环境变量
#配置jdk。
# The java implementation to use. Required.
export JAVA_HOME=/usr/java/jdk1.6.0_21/
3.4 Hadoop Common组件 配置 core-site.xml
#编辑 core-site.xml 文件
vi /opt/modules/hadoop/hadoop-1.0.3/conf/core-site.xml
| <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> <description>hadoop namenode 服务器地址和端口，以域名形式</description> </property> </configuration> |
3.5 HDFS NameNode,DataNode组建配置 hdfs-site.xml
vi /opt/modules/hadoop/hadoop-1.0.3/conf/hdfs-site.xml
| <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration> <property> <name>dfs.replication</name> <value>2</value> <description>HDFS数据保存份数，通常是3 </description> </property> </configuration> |
3.6 配置MapReduce - JobTracker TaskTracker 启动配置
vi /opt/modules/hadoop/hadoop-1.0.3/conf/mapred-site.xml
| <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration> <property> <name>mapred.job.tracker</name> <value>master:9001</value> <description>JobTracker rpc主机和端口</description> </property> </configuration> |
3.7格式化文件
#启动切换到hadoop用户
su hadoop
#格式化文件
/opt/modules/hadoop/hadoop-1.0.3/bin/hadoop namenode -format
3.8 Hadoop单机系统,启动执行和异常检查
#启动 Master node ：
/opt/modules/hadoop/hadoop-1.0.3/bin/hadoop-daemon.sh start namenode
#启动 JobTracker：
/opt/modules/hadoop/hadoop-1.0.3/bin/hadoop-daemon.sh start jobtracker
#启动 secondarynamenode：
/opt/modules/hadoop/hadoop-1.0.3/bin/hadoop-daemon.sh start secondarynamenode
#启动 DataNode && TaskTracker：
/opt/modules/hadoop/hadoop-1.0.3/bin/hadoop-daemon.sh start datanode
/opt/modules/hadoop/hadoop-1.0.3/bin/hadoop-daemon.sh start tasktracker
停止，命令相同，将start换为stop
#出现错误可查看日志
tail -f /opt/modules/hadoop/hadoop-1.0.3/logs/*
#jps列出所有守护进程验证安装成功
3.9 通过界面查看集群部署部署成功
#检查 namenode 和 datanode 是否正常
|
#检查 jobtracker 和 tasktracker 是否正常
|
3.10 通过执行 Hadoop pi 运行样例检查集群是否成功
cd /opt/modules/hadoop/hadoop-1.0.3
bin/hadoop jar hadoop-examples-1.0.3.jar pi 10 100
#集群正常效果如下
| 12/07/15 10:50:48 INFO mapred.FileInputFormat: Total input paths to process : 10 12/07/15 10:50:48 INFO mapred.JobClient: Running job: job_201207151041_0001 12/07/15 10:50:49 INFO mapred.JobClient: map 0% reduce 0% 12/07/15 10:51:42 INFO mapred.JobClient: map 40% reduce 0% 12/07/15 10:52:07 INFO mapred.JobClient: map 70% reduce 13% 12/07/15 10:52:10 INFO mapred.JobClient: map 80% reduce 16% 12/07/15 10:52:11 INFO mapred.JobClient: map 90% reduce 16% 12/07/15 10:52:22 INFO mapred.JobClient: map 100% reduce 100% ..................... 12/07/15 10:52:28 INFO mapred.JobClient: Virtual memory (bytes) snapshot=2155343872 12/07/15 10:52:28 INFO mapred.JobClient: Map output records=20 Job Finished in 100.608 seconds Estimated value of Pi is 3.14800000000000000000 |
3.11 安装部署 常见错误
主机文件/etc/hosts中主机列表IP错误。物理硬盘的权限均应为hadoop:hadoop，执行启动也应su为hadoop用户。比较常见是出现权限错误导致无法启动故障。
如果遇到服务无法启动。请检查 $HADOOP_HOME/logs/ 目录具体日志情况。
tail -n 100 $HADOOP_HOME/logs/*namenode* #检查namenode 服务日志
tail -n 100 $HADOOP_HOME/logs/*datanode* #检查datanode服务日志
Tail -n 100 $HADOOP_HOME/logs/*jobtracker* #检查jobtracker服务日志
4、全分布式环境搭建
4.1 配置master 集群服务器地址 stop-all.sh start-all.sh 的时候调用
#设置 hadoop secondary node hostname批量启动的地址
#配置secondary的地址
vi /opt/modules/hadoop/hadoop-1.0.3/conf/masters
| master |
#配置 datanode 和 tasktracker 的地址
vi /opt/modules/hadoop/hadoop-1.0.3/conf/slaves
| node1 node2 |
4.2复制 master hadoop到 node1 node2节点服务器上
#切换到 hadoop 用户下
su hadoop
scp -r /opt/modules/hadoop/hadoop-1.0.3/ node1:/opt/modules/hadoop/
scp -r /opt/modules/hadoop/hadoop-1.0.3/ node1:/opt/modules/hadoop/
4.3 格式化node1 node2 上的HDFS文件系统
hadoop namenode –format
4.4 批量启动和关闭集群
#全部启动
/opt/modules/hadoop/hadoop-1.0.3/bin/start-all.sh
#全部关闭
/opt/modules/hadoop/hadoop-1.0.3/bin/stop-all.sh
4.5 通过界面查看集群部署部署成功
#检查 namenode 和 datanode 是否正常
#检查 jobtracker 和 tasktracker 是否正常
hadoop fs -ls /
hadoop fs -mkdir /data/
5 自动化安装脚本
为加快服务器集群的安装和部署,会使用自动化安装脚本安装。以下为自动化部署脚本样例 。脚本中#红色部分具体参考以上配置做具体修改。本脚本里面的安装包用于 64位服务器安装,32位安装包需要单独下载修改。
5.1 master 服务器自动安装脚本
#hadoop_install.sh,将以下放入shell脚本中并执行。
vi hadoop_install.sh
| #!/bin/sh yum -y install lrzsz gcc gcc-c++ libstdc++-devel ntp #安装gcc 基础环境 echo "0 1 * * * root /usr/sbin/ntpdate cn.pool.ntp.org" >> /etc/crontab #配置时间同步 /usr/sbin/ntpdate cn.pool.ntp.org #手动同步时间 /usr/sbin/groupadd hadoop #新增hadoop 群组 /usr/sbin/useradd hadoop -g hadoop #新增Hadoop 用户并绑定到hadoop 群中
#安装依赖包并设置hadoop用户 mkdir -p /opt/modules/hadoop/ mkdir -p /opt/data/hadoop/ chown hadoop:hadoop /opt/data/hadoop/
#配置 /etc/hosts ip 对应主机名称 echo -e "127.0.0.1\tlocalhost.localdomain localhost #::1\tlocalhost6.localdomain6 localhost6 #机架1 192.168.1.100\thadoopmaster 192.168.1.101\thadoopslave 192.168.1.101\thadoop-node-101 " > /etc/hosts
#获取服务器外网IP并替换host中127.0.0.1 collect-* IP=`/sbin/ifconfig eth0 | grep "inet addr" | awk -F":" '{print $2}' | awk -F" " '{print $1}'` sed -i "s/^127.0.0.1\tcollect/${IP}\tcollect/g" /etc/hosts
echo "----------------env init finish and prepare su hadoop---------------"
HADOOP=/home/hadoop
cd $HADOOP
#生成密钥 sudo -u hadoop mkdir .ssh ssh-keygen -q -t rsa -N "" -f $HADOOP/.ssh/id_rsa Cd$HADOOP/.ssh/ && echo "#此处需要 cat master id_rsa.pub" > $HADOOP/.ssh/authorized_keys chmod go-rwx $HADOOP/.ssh/authorized_keys #修改文件权限
cd $HADOOP
#下载已经配置好的 Hadoop 集群包 wget http://60.28.110.228/source/package/hadoop/hadoop_gz.tar.gz wget http://60.28.110.228/source/package/hadoop/hadoop_rpm.tar.gz
mkdir $HADOOP/hadoop mv *.tar.gz $HADOOP/hadoop cd $HADOOP/hadoop tar zxvf hadoop_rpm.tar.gz tar zxvf hadoop_gz.tar.gz
rpm -ivh jdk-6u21-linux-amd64.rpm rpm -ivh lrzsz-0.12.20-19.x86_64.rpm rpm -ivh lzo-2.04-1.el5.rf.x86_64.rpm rpm -ivh hadoop-gpl-packaging-0.2.8-1.x86_64.rpm
tar xzvf lzo-2.06.tar.gz cd lzo-2.06 && ./configure --enable-shared && make && make install cp /usr/local/lib/liblzo2.* /usr/lib/ cd ..
tar xzvf lzop-1.03.tar.gz cd lzop-1.03 ./configure && make && make install && cd ..
chown -R hadoop:hadoop /opt/modules/hadoop/
cp hadoop-node-0.20.203.0.tar.gz /opt/modules/hadoop/ cd /opt/modules/hadoop/ && tar -xzvf hadoop-node-0.20.203.0.tar.gz
chown -R hadoop:hadoop /opt/modules/hadoop/ chown -R hadoop:hadoop /home/hadoop |
|
|
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
