1. 软件部署步骤
1.1. Hadoop安装部署
1.1.1安装前的准备
hadoop-1.0.4.tar.gz
jdk-6u35-linux-x64-rpm.bin
2台suse Linux主机
hadoop0-NameNode 192.168.0.11
hadoop1-DataNode 192.168.0.13
1.1.2安装部署
首先安装JDK
chmod +x jdk-6u35-linux-x64-rpm.bin
./jdk-6u35-linux-x64-rpm.bin
在/etc/profile的最后添加JDK环境变量,如下:
export JAVA_HOME=/usr/java/jdk1.6.0_35
export JRE_HOME=/usr/java/jdk1.6.0_35/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
然后
hadoop0-NameNode:/soft #source /etc/profile
配置完成后,需要重启终端,在终端中输入java -version,检测jdk是否安装成功,如果出现jdk相关版本,则成功。
hadoop安装
1. 更改主机名、IP
1.1 IP设置:
在192.168.0.11上
命令:# vi /etc/hosts
192.168.0.11 hadoop0-NameNode.test.com hadoop0-NameNode
192.168.0.13 hadoop1-DataNode.test.com hadoop1-DataNode
1.2 更改主机名:
vi /etc/hostname 在里面添加
hadoop0-NameNode
hadoop0-NameNode:/soft #hostname -F /etc/hostname
192.168.0.13上
命令:# vi /etc/hosts
192.168.0.13 hadoop1-DataNode.test.com hadoop1-DataNode
1.2 更改主机名:
vi /etc/hostname 在里面添加
hadoop1-DataNode
hadoop1-DataNode:/soft #hostname -F /etc/hostname
2. SSH设置
如代码清单 1 所示:
[root@hadoop0 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
a8:97:55:d3:95:d6:fe:f5:08:ca:4c:6e:24:62:b4:22 root@hadoop0
Ssh-keygen -t rsa命令将为 hadoop0-NameNode 上的当前用户 root 生成密钥对,密钥对的保存路径使用缺省的 /root/.ssh/id_rsa, 要求输入passphrase 的时候,直接回车。这样生成的证书以及公钥将存储在 /root/.ssh 目录,形成如下两个文件 id_rsa,id_rsa.pub。
然后将 id_rsa.pub文件的内容复制到hadoop0-NameNode(包括本机)、hadoop1-DataNode的/root/.ssh/authorized_keys文件的尾部。若机器上不存在这个/root/.ssh/authorized_keys文件,可以自行创建一个。
2.2 SSH连接测试
从 hadoop0-NameNode 分别向 hadoop0-NameNode, hadoop1-DataNode发起 SSH 连接请求,确保不需要输入密码就能 SSH 连接成功。
命令:
hadoop0-NameNode:/soft #ssh hadoop0-NameNode
hadoop0-NameNode:/soft #ssh hadoop1-DataNode
注意第一次 SSH 连接时会出现如下提示信息:
The authenticity of host [homer06] can't be established. The key fingerprint is:
74:32:91:f2:9c:dc:2e:80:48:73:d4:53:ab:e4:d3:1a
Are you sure you want to continue connecting (yes/no)?
输入 yes, 这样 OpenSSH 会把连接过来的这台主机的信息自动加到 /root/.ssh/know_hosts 文件中去,第二次再连接时,就不会有这样的提示信息。
以后就不需要输入密码就可以建立ssh连接了,配置成功。
3. 安装部署hadoop
在hadoop0主机上部署hadoop软件,解压到/usr/local/hadoop-1.0.4,更名为hadoop
3.1 修改环境变量
在/usr/local/hadoop/conf目录下的hadoop-env.sh中设置JAVA_HOME的环境变量,如下:
export JAVA_HOME =/usr/java/jdk1.6.0_35
export HADOOP_HOME=/usr/local/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
3.2 修改/usr/local/hadoop/conf/masters文件
打开masters文件,该文件用来指定NameNode,内容如下:
hadoop0-NameNode:/usr/local/hadoop/conf # cat masters
hadoop0-NameNode
3.3 修改/usr/local/hadoop/conf/slaves文件
打开slaves文件,该文件用来指定所有的DataNode,一行指定一个主机名。即本文中的hadoop0-NameNode、hadoop1-DataNode,如下:
hadoop0-NameNode:/usr/local/hadoop/conf # cat slaves
hadoop0-NameNode
hadoop1-DataNode
3.4 修改core-site.xml、hdfs-site.xml和mapred-site.xml
在/usr/local/hadoop/src/core、/usr/local/hadoop/src/hdfs、/usr/local/hadoop/src/mapred目录中分别找到core-default.xml,hdfs-default.xml,
mapred-default.xml三文件,然后copy到/usr/local/hadoop/conf目录下,这三个文件包含Hadoop的所有配置项,然后把这个分别改名为core-site.xml,hdfs-site.xml,mapred-site.xml,我们根据需要修改如下:
修改core-site.xml:
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name> fs.default.name</name>
<value>hdfs://192.168.0.11:9000</value>
</property>
注:
fs.default.name是NameNode的URI。hdfs://主机名:端口
修改hdfs-site.xml:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
修改mapred-site.xml:
<property>
<name>mapred.job.tracker</name>
<value>192.168.0.11:9001</value>
</property>
配置完成后进行部署,把配置好的hadoop文件夹拷贝到hadoop1主机上。命令如下:
[root@hadoop0:~]# scp -r /usr/local/hadoop root@192.168.0.13: /usr/local/
需要注意,如在hadoop1-DataNode上某些配置路径和hadoop0-NameNode主机上不一致,则需要修改成对应的hadoop1-DataNode主机上的路径。
例如:hadoop1-DataNode的Java安装路径不一样,要修改conf/hadoop-env.sh。建议尽量使用相同的路径安装部署。
至此,hadoop部署完毕。
4. 测试:
重启终端,格式化namenode:
进入hadoop目录下的bin目录,输入
./hadoop namenode -format对hadoop进行格式化。
启动hadoop:在hadoop的bin目录下,输入
./start-all.sh
如果启动成功,可以用jps命令查看namenode,datanode,jobtracker,tasktracker,secondarynamenode
五个节点都启动,则正常启动了。
停止hadoop,在hadoop的bin目录下,输入
./stop-all.sh
附:secondarynamenode配置
假设增加一台机器为192.168.0.12
首先修改namenode和secondarynamenode两台机器的master文件,把secondarynamenode的主机名添加上去(一行一个)
然后登录secondarynamenode修改conf/core-site.xml
<name>fs.checkpoint.dir</name>
<value>/data/work/hdfs/namesecondary</value> 这里存储namenode的镜像
<description>Determines where on the local filesystem the DFS secondary name node should store the temporary p_w_picpaths to merge. If this is a comma-delimited list of directories then the p_w_picpath is replicated in all of the directories for redundancy. </description>
</property>
修改conf/hdfs-site.xml
<property>
<name>dfs.http.address</name>
<value>192.168.0.11:50070</value> 这里修改namenode主机的IP
<description> The address and the base port where the dfs namenode web ui will listen on. If the port is 0 then the server will start on a free port. </description>
</property>
重新启动hadoop,你在secondarynamenode上用jps会看到secondarynamenode进程
1.2 Hive安装部署
1.2.1 解压hive安装包
tar xzf hive-0.9.0
把hive安装包解压到/usr/local/hive目录下
1.2.2 环境变量配置
进入hive的conf目录下,创建hive-env.sh,在里面添加
#!/bin/bash
HIVE_HOME=/usr/local/hive
HADOOP_HOME=/usr/local/hadoop
将conf/hive-default.xml.template复制两份,分别命名为hive-default.xml(用于保留默认配置)和hive-site.xml(用于个性化配置,可覆盖默认配置)。
配置mysql来存储hive的元数据,首先得确保安装了mysql,输入如下命令检查:
rpm -qa|grep mysql
命令执行后如果出现相关文件,先卸载掉,命令如下:
rpm -e 出现的文件名
1.2.3 安装MySQL数据库
将libmysqlclient15-5.0.67-13.20.1.x86_64.rpm
mysql-5.0.67-13.20.1.x86_64.rpm
mysql-client-5.0.67-13.20.1.x86_64.rpm这三个文件拷贝到/usr/local/mysql路径下,输入以下命令安装:
rpm -ivh ./*.rpm
安装完成后按照提示输入以下命令:
/usr/bin/mysqladmin -u root password ''
/usr/bin/mysqladmin -u root -h localhost password ''
此时mysql是不需要密码登录的,输入mysql命令后设置mysql的用户名和密码:
create user 'hadoop'@'localhost' IDENTIFIED BY 'hadoop';
grant all privileges on *.* to 'hadoop'@'localhost' with grant option;
然后输入exit;命令退出mysql,重新登录则需要用户名和密码:
Mysql -uhadoop -phadoop;
下载mysql-connector-java
wget 'http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.1.22.tar.gz'
tar xvf mysql-connector-java-5.1.22.tar.gz
拷贝mysql-connector-java-5.1.10-bin.jar到/usr/local/hive/lib目录下。
cp mysql-connector-java-5.1.22/mysql-connector-java-5.1.22-bin.jar /usr/local/hive/lib/
修改/usr/local/hive/conf/hive-site.xml配置文件,如下:
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>
jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
退出命令行终端后,重新启动hadoop,进入hive/bin,输入
./hive
进入hive命令的控制台。输入
show tables;
第一次会比较慢,成功显示OK,则说明hive配置成功。
1.3 SQOOP安装部署
sqoop安装部署说明
将sqoop-1.4.2.bin_hadoop-1.0.0.tar.gz拷贝到/usr/local/sqoop目录下,执行命令解压sqoop包:
tar xzf sqoop-1.4.2.bin_hadoop-1.0.0.tar.gz
sqoop-1.4.2.bin_hadoop-1.0.0依赖hadoop-core-1.0.3.jar,所以将hadoop安装目录/usr/local/hadoop目录下的hadoop-core-1.0.3.jar拷贝到sqoop的lib目录下。
sqoop导入oracle数据运行过程中依赖ojdbc14.jar,将其复制到sqoop的lib目录下。
ojdbc14.jar在$ORACLE_HOME/jdbc/下
修改sqoop文件
修改SQOOP的文件configure-sqoop,注释掉hbase和zookeeper
检查(没有则不需注释),如下:
#if [ ! -d "${HBASE_HOME}" ]; then
# echo “Error: $HBASE_HOME does not exist!”
# echo ‘Please set $HBASE_HOME to the root of your HBase installation.’
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo “Error: $ZOOKEEPER_HOME does not exist!”
# echo ‘Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.’
# exit 1
#fi
修改完成后,则sqoop配置完成。
转载于:https://blog.51cto.com/slevin/1566633