centos单机安装Hadoop2.6.4

centos单机安装Hadoop2.6.4
转载：http://blog.csdn.net/woshisunxiangfu/article/details/44026207
集群安装：http://blog.csdn.net/linghe301/article/details/9184453
1. 文件下载
jdk下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
hadoop 下载地址：http://www-eu.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz
hadoop 源码：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gz
2. 安装java-1.6(jdk)
$  mkdir /usr/lib/jvm
$ tar zxvf jdk-7u79-linux-x64.gz -C /usr/lib/jvm
$ cd /usr/lib/jvm
$ mv jdk1.7.0_79 java
添加环境变量
export DISPLAY=:0.0
ls –a显示隐藏文件
$ gedit ~/.bashrc
加入如下内容
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH  
执行source ~/.bashrc
测试
$ java -version
java version "1.7.0_21" Java(TM) SE Runtime Environment (build 1.7.0_21-b11)
Java HotSpot(TM) Server VM (build 23.21-b01, mixed mode)


3. 配置SSH无密码登陆
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh，# ssh localhost 
不需要输入密码即可登录。
若需要输入密码：
http://blog.csdn.net/hjskl/article/details/8809282


4. 安装hadoop-2.6.4
1.解压安装 
1）复制 hadoop-2.6.4.tar.gz 到/root/hadoop目录下， 
#mkdir /root/hadoop
#tar -xzvf hadoop-2.6.4.tar.gz   -C /root/hadoop
解压，解压后目录为：/root/hadoop/ hadoop-2.6.4
2），在/root /hadoop/目录下，建立tmp、hdfs/name、hdfs/data目录，执行如下命令 
#mkdir /root/hadoop/tmp 
#mkdir /root/hadoop/hdfs 
#mkdir /root/hadoop/hdfs/data 
#mkdir /root/hadoop/hdfs/name


3），设置环境变量，#vi ~/.bash_profile
# set hadoop path
export HADOOP_HOME=/root/hadoop/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin


4)，使环境变量生效，$source ~/.bash_profile


5. Hadoop配置 
进入$HADOOP_HOME/etc/hadoop目录，配置 hadoop-env.sh等。涉及的配置文件如下： 
hadoop-2.6.4/etc/hadoop/hadoop-env.sh 
hadoop-2.6.4/etc/hadoop/yarn-env.sh 
hadoop-2.6.4/etc/hadoop/core-site.xml 
hadoop-2.6.4/etc/hadoop/hdfs-site.xml 
hadoop-2.6.4/etc/hadoop/mapred-site.xml 
hadoop-2.6.4/etc/hadoop/yarn-site.xml

(1) 配置hadoop-env.sh

# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java


(2) 配置yarn-env.sh
export JAVA_HOME=/usr/lib/jvm/java


(3) 配置core-site.xml 
添加如下配置：

 
    fs.default.name
    hdfs://localhost:9000
    HDFS的URI，文件系统://namenode标识:端口号




    hadoop.tmp.dir
    /root/hadoop/tmp
    namenode上本地的hadoop临时文件夹




(4) 配置hdfs-site.xml 
添加如下配置


    dfs.name.dir
    /root/hadoop/hdfs/name
    namenode上存储hdfs名字空间元数据  



    dfs.data.dir
    /root/hadoop/hdfs/data
    datanode上数据块的物理存储位置



    dfs.replication
    1
    副本个数，配置默认是3,应小于datanode机器数量






(5) 配置mapred-site.xml 
默认情况下，/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件，我们要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce使用的框架。


复制并重命名
cp mapred-site.xml.template mapred-site.xml
编辑器打开此新建文件
sudo gedit mapred-site.xml
然后编辑mapred-site.xml


添加如下配置：


        mapreduce.framework.name
        yarn




6. Hadoop启动 
1）格式化namenode
$ bin/hdfs namenode –format
2）启动NameNode 和 DataNode 守护进程
$ sbin/start-dfs.sh
3）启动ResourceManager 和 NodeManager 守护进程
$ sbin/start-yarn.sh
5，启动验证 
1）执行jps命令，有如下进程，说明Hadoop正常启动
# jps
54679 NameNode
54774 DataNode
15741 Jps
9664 Master
55214 NodeManager
55118 ResourceManager
54965 SecondaryNameNode
2）访问
访问http://localhost:50070
访问http://localhost:8088
其中19888端口要启动JobHistoryServer进程，启动命令如下：
./sbin/mr-jobhistory-daemon.sh start historyserver
然后访问http://localhost:19888
到此为止，hadoop的伪分布式安装配置讲解完毕。
7. Hadoop 配置注意问题：
/etc/hosts
 
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 node0
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
~      
 
NETWORKING=yes
HOSTNAME=node0
~               
  ps -ef|grep hadoop


8. andy:
vi /usr/local/hive/conf/hive-site.xml
hive
cd /usr/local/hive/
cd metastore_db/
ps -ef|grep hive
jps
ls
rm -rf metastore_db
ls
hive
./bin/schematool -initSchema -dbType derby
ls
find ./ *.sql
hive
./bin/schematool -initSchema -dbType derby
find ./ *.sql|more]
cd scripts/
ls
cd metastore/
cd upgrade/derby/
ls
vi hive-schema-2.0.0.derby.sql 
hive
./bin/schematool -initSchema -dbType derby
/usr/local/hive/bin/schematool -initSchema -dbType derby
vi hive-schema-2.0.0.derby.sql 
hive
/usr/local/hive/bin/schematool -initSchema -dbType derby
hive
vi /etc/hosts
vi /etc/sysconfig/network
hive
hadoop dfs -chmod 777 /usr/hive.warehouse
vi /usr/local/apache-hive-2.0.0-bin/conf/hive-log4j2.properties
vi /usr/local/hive/conf/hive-site.xml
hive
vi /usr/local/hive/conf/hive-site.xml
hive


vi conf/hive-site.xml
./bin/hive
vi conf/core-site.xml 
vi /root/hadoop/hadoop-2.6.4/etc/hadoop/core-site.xml 
vi /root/hadoop/hadoop-2.6.4/etc/hadoop/hdfs-site.xml 
vi conf/hive-site.xml
./bin/hive
./bin/schematool -initSchema -dbType derby
vi scripts/metastore/upgrade/derby/hive-schema-2.0.0.derby.sql 
./bin/schematool -initSchema -dbType derby
./bin/hive

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29050044/viewspace-2098264/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29050044/viewspace-2098264/