初探hadoop+hbase+sqoop+hive

初学大数据，记录自己的笔记

准备：

1、虚拟机vmware10
2、os centos6.5 x86_64
3、163网络yum源 CentOS6-Base-163.repo
4、hadoop-2.6.2.tar --hadoop核心组件    
  jdk-7u79-linux-x64.tar --java
  hbase-1.1.0.1-bin.tar --hbase注意支持的版本
  sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar --sqoop导数据工具
  apache-hive-2.0.0-bin.tar --hive
  ojdbc6.jar --oracle jdbc
  mysql-connector-java-5.1.38.tar --mysql jdbc
  
系统安装：
1、centos6.5  安装，尽量少的安装组件，具体安装步骤本文不做说明
  一共三台  master slave1 slave2
2、网络配置 /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=00:0C:29:D2:D1:D8
TYPE=Ethernet
UUID=1a852f8f-0eec-4ff6-a105-9ed88a7df754
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=none
IPADDR=192.168.10.201
NETMASK=255.255.255.0
GEATWAY=192.168.10.1
DNS1=8.8.8.8
DNS2=114.114.114.114
3、yum源
  cp CentOS6-Base-163.repo /etc/yum.pepos.d/
  yum clean all
  yum list  openssh
4、ssh无密码登录，因为hadoop安装时所有的分发都依靠ssh
  yum install sshd
5、关闭防火墙和selinux
6、hostname
/etc/hosts --文件拷贝到slave
192.168.10.200  master
192.168.10.201  slave1
192.168.10.202  slave2
/etc/sysconfig/network --文件拷贝到slave
NETWORKING=yes
HOSTNAME=master

hostname master
7、配置ssh密码登录
/etc/etc/ssh/sshd_config --文件拷贝到slave
去掉开头的注释
RSAAuthentication  yes
PubkeyAuthentication yes
PasswordAuthentication yes

输入ssh-keygen -t rsa 生成key  （一直选择默认）
cd /root/.ssh/
将master和slave的公钥合并到authorized_keys里面
cat id_rsa.pub>>authorized_keys
ssh  root@