大数据伪分布式安装hadoop、hbase、hive等

工欲善其事，必先利其器。首先从安装部署说起吧...

 

大数据组件jar包下载地址： 

CDH下载地址：  http://archive.cloudera.com/cdh5/cdh/5/ 

Apache下载地址：http://archive.apache.org/dist/ 

 

2、安装jdk: 

解压：tar -xzvf jdk-7u79-linux-x64.tar.gz -C /opt/ 

进入到jdk的目录，验证jdk是否ok 

bin/java -version 

 

3、安装hadoop 

伪分布模式安装步骤： 

关闭防火墙 

修改ip 

修改hostname 

设置ssh自动登录 

安装jdk 

安装hadoop 

 

下面是详细步骤： 

hadoop的伪分布安装，一般步骤： 

1、设置ip，使物理机与虚拟机直接进行互通。 

2、关闭防火墙 

service iptables stop 

查看防火墙是否被关闭，我们可以采用下面的命令进行查看: 

service iptables status 

3、关闭防火墙的自动运行 

查看防火墙的详细情况： 

chkconfig --list | grep iptables 

设置所有的值都为off也就是关闭防火墙的自动启动方式： 

chkconfig iptables off 

然后再进行查看是否已经生效，就可以了。 

 

4、设置一下主机名： 

查看并设置主机名： 

hostname进行查看主机名， 

 

修改文件彻底的改变主机名： 

vi /etc/sysconfig/network 

修改完成后，我们可以重启一下，进行显示出我们修改以后的主机名 

reboot -h now 

 

5、设置一下ssh免密码登录。 

首先执行命令生成相应的文件： 

ssh-keygen -t rsa 

然后进入到ssh中赋值并重命名一个新的文件： 

cd ~/.ssh 

cp id_rsa.pub authorized_keys 

验证ssh + 主机名（上面进行设置的） 

6、将ip与hostname进行绑定。 

执行的命令是：vi /etc/hosts  新增一行  ip + 空格 + 主机名 

检查   ping 主机名 例如： 192.168.159.4   hadoop 

进入hadoop的相关根目录，然后呢。修改配置信息就OK了 

$HADOOP_HOME/etc/hadoop/ 

1、hadoop-env.sh 

export JAVA_HOME=/opt/jdk1.7.0_79 

1. core-site.xml 

   <property> 

           <name>hadoop.tmp.dir</name> 

           <value>file:/opt/hadoop-2.5.0-cdh5.3.6/tmp</value> 

           <description>Abase for other temporary directories.</description> 

       </property> 

       <property> 

           <name>fs.defaultFS</name> 

           <value>hdfs://hadoop:9000</value> 

       </property> 

2. Hdfs-site.xml 

<property> 

        <name>dfs.replication</name> 

        <value>1</value> 

    </property> 

    <property> 

        <name>dfs.namenode.name.dir</name> 

        <value>file:/opt/hadoop-2.5.0-cdh5.3.6/tmp/dfs/name</value> 

    </property> 

    <property>