大数据伪分布式环境搭建hadoop+zookeeper+hive+sqoop+hbase

最近开始学习大数据，自己在虚拟机中搭建了一套环境，因为参考的博客写的很详细，自己不再重写，只给出链接：http://blog.csdn.net/pucao_cug?viewmode=contents

1.安装hadoop: http://blog.csdn.net/pucao_cug/article/details/71698903

2.安装hive: http://blog.csdn.net/pucao_cug/article/details/71773665

3.安装sqoop: http://blog.csdn.net/pucao_cug/article/details/72083172

4.安装zookeeper: http://blog.csdn.net/pucao_cug/article/details/72228973

5.安装hbase: http://blog.csdn.net/pucao_cug/article/details/72229223

6.安装spark: http://blog.csdn.net/pucao_cug/article/details/72353701

自己在搭建过程中，出的一些问题：

1.配置authorized_keys文件     生成key文件后，在hserver1上拷贝时少了开头的一个字母，结果hserver1通过ssh跳转hserver2和hserver3时，从要输密码；

2.hadoop初始化时只初始化一次；自己曾在重启后又进行了初始化，结果造成VERSION不一致，后面hive无法使用，将初始化生成的文件全部删除后，重新初始化，解决了问题；

3.zookeeper改成集群时，总是报：Error contacting service. It is probably not running

网上看了下'Error contacting service. It is probably not running.'类错误不外乎3种答案:
    1,配置文件zoo.cfg中的datadir文件夹未创建导致
    2,防火墙未关闭,建议永久关闭防火墙-->chkconfig iptables off
    3,修改sh脚本里的一个nc的参数来解决，可在自己的版本中并没有找到nc的调用。-->nc属于老版本,新版本没有了nc

我的zookeeper是设置成开机自启的，我是在确认配置没有问题后，永久关闭防火墙-->chkconfig iptables off，然后测试成功的，status状态1个leader,2个slave

现在开机后需要启动的命令：

0.防火墙已设置为开机不开起

1.启动hadoop
进入到hserver1这台机器的/opt/hadoop/hadoop-2.8.0/sbin目录
cd    /opt/hadoop/hadoop-2.8.0/sbin

./start-all.sh

2.
hadoop测试页面
http://192.168.229.139:50070/

 http://192.168.229.139:8088/

 3.hive测试页面

 http://192.168.229.139:50070/explorer.html#/user/hive/warehouse/db_hive_edu.db

 4.sqoop测试命令

 

显示mysql库的表
sqoop list-tables --username root --password '123456' --connect jdbc:mysql://192.168.229.139:3306/hive?characterEncoding=UTF-8

创建对应的mysql表
sqoop create-hive-table --connect jdbc:mysql://192.168.229.139:3306/hive?characterEncoding=UTF-8 --table t_test1 --username root   -password '123456' --hive-database  db_hive_edu 


导入数据
sqoop import --connect jdbc:mysql://192.168.229.139:3306/hive?characterEncoding=UTF-8   --table    data_base  --username root  -password  '123456'    --fields-terminated-by   ','    --hive-import  --hive-database  db_hive_edu     -m  1 

5.zookeeper集群版本
已设置开机自启

查看status /opt/zookeeper/zookeeper-3.4.10/bin/zkServer.sh     status

6.
 Hbase是基于hadoop提供的分布式文件系统的，所以启动Hbase之前，先确保hadoop在正常运行，另外Hbase还依赖于zookkeeper，本来我们可以用hbase自带的zookeeper，但是我们上面的配置启用的是我们自己的zookeeper集群，所以在启动hbase前，还要确保zokeeper已经正常运行。
  在hserver1上执行命令，进入到Hbase的bin目录内，命令是：
  cd  /opt/hbase/hbase-1.2.6/bin

   执行命令启动Hbase，命令是：

   ./start-hbase.sh

   用浏览器访问Hbase状态信息
   直接访问地址：http://192.168.229.139:16030/


   启动hbase的命令行
   执行命令，进入到Hbase的bin目录内，命令是：
   cd  /opt/hbase/hbase-1.2.6/bin


   执行命令启动Hbase命令行窗口，命令是：
   ./hbase  shell


在hbase命令行模式下，可以输入一系列hbase命令，进行测试
输入：status

如果要退出Hbase命令行模式的话，输入：exit