Hadoop- Zookeeper-Hbase搭建
1 Hadoop集群搭建
1.1免密码设置
通过客户端连接到linux集群（2台以上）后分别进行如下操作：
ssh-keygen -t rsa 生成密钥对
缺省目录
两次enter
ls -a 可以看到.ssh进入.ssh目录后可以看到id_rsa id_rsa.pub文件
把公钥文件拷贝到另一台机器
--在192.168.160.128操作
scp ./id_rsa.pub root@192.168.160.129:/root/.ssh/authorized_keys
登陆到129机器上进行如下操作：
cd
cd .ssh
cat id_rsa.pub
copy id_rsa.pub addto authorized_keys
或
cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
将本机（129）的公钥添加进authorized_keys中，这样允许本机通过ssh的形式免密码登录注意使用>>，而不是>，因为如果其它主机(如A）也采用免登陆的形式登录，也可以把主机A的公钥添加到authorized_keys文件中。这样主机A就可以免登陆ssh到本机了。
执行chmod 600authorized_keys(否则ssh localhost可能报错)
最终结果：机器中每台机器的authorized_keys文件中含有机器其他机器的公钥。
1.2 hadoop集群搭建配置文件修改
背景：两台机器192.168.160.128(hd1) 、192.168.160.129(hd2)机器部署目录相同,jdk环境已具备且目录路径都相同。
1. 修改hadoop-env.sh配置文件
修改java环境的路径
grep -v "^#" ./hadoop-env.sh | grep -v "^$"
2.修改core-site.xml配置文件
指定hadoop临时路径
3.修改hdfs-site.xml配置文件
4.修改mapred-site.xml配置文件
5.修改masters文件
6.修改slaves文件
7.查看防火墙状态
chkconfig iptables off
8. 拷贝到其他各个节点上
9.格式化分布式文件系统
bin/hadoop namenode -format
10.启动守护进程
bin/start-all.sh
1.3 hadoop操作
cd /home/robinjun/hadoop-1.1.2/bin
1.创建文件夹的方法
./hadoop fs -mkdir testDir
bin/hadoop fs -put /home/robinjun/input in
bin/hadoop jar hadoop-examples-1.1.2.jar wordcount in out
bin/hadoop fs -ls ./out/*
bin/hadoop fs -cat ./out/part-r-00000
http://192.168.160.128:50030/jobtracker.jsp
http://192.168.160.128:50070/dfshealth.jsp
安全模式实验
bin/hadoop dfsadmin -safemode enter
bin/hadoop fs -put ../xxx ./in 上传文件到HDFS
bin/hadoop fs -ls ./in
bin/hadoop fs -rmr ./in/test1.txt
bin/hadoop fs -ls ./in
bin/hadoop dfsadmin -safemode leave
bin/hadoop fs -put ../xxx ./in
bin/hadoop fs -ls ./in
bin/hadoop fs -rmr ./in/xxx
bin/hadoop fs -ls ./in
/home/robinjun/input
验证回收站功能实验
在conf/core-site.xml添加配置：
重启集群
bin/hadoop fs -ls
bin/hadoop fs -rmr ./out
bin/hadoop fs -ls
bin/hadoop fs -ls ./.Trash
bin/hadoop fs -ls ./.Trash/Current
bin/hadoop fs -ls ./.Trash/Current/user
bin/hadoop fs -ls ./.Trash/Current/user/root
bin/hadoop fs -ls ./.Trash/Current/user/root/out
恢复及清空
bin/hadoop fs -mv ./.Trash/Current/user/root/out ./
bin/hadoop fs -ls
bin/hadoop fs -ls ./out/*
bin/hadoop fs -expunge
bin/hadoop fs -ls ./.Trash/Current/user/
.....
将HDFS的文件复制到本地
bin/hadoop fs -get ./in/xxxx ../tmp
删除HDFS下的文档
bin/hadoop fs -rmr ./in/xxx
查看HDFS下某个文件的内容
bin/hadoop fs -ls ./in
bin/hadoop fs -cat ./in/test1.txt
查看HDFS基本统计信息
bin/hadoop dfsadmin -report
怎样添加节点？
在新节点安装好hadoop
把namenode的有关配置文件复制到该节点
修改masters和slaves文件，增加该节点
设置ssh免密码进出该节点
单独启动该节点上的datanode和tasktracker（hadoop-daemon.sh start datanode/tasktracker）
运行start-balancer.sh进行数据负载均衡
是否要重启集群？
负载均衡
作用：当节点出现故障，或新增加节点时，数据块分布可能不均匀，负载均衡可以重新平衡各个datanode上数据块的分布
./start-balancer.sh
1.4 HDFS的命令行操作
将本地的一个文件复制到HDFS中
hdoop fs -copyFormLocal testInput/hello.txthdfs://localhost/user/admin/In/hello.txt
注：使用fs命令可以省略URL中的访问协议和主机名，而直接使用配置文件core-site.xml中默认属性
值hdfs://localhost
hadoop fs -copyFromLocaltestInput/hello.txt /user/amdin/In/hello.txt
其次，看如何将HDFS中的文件拷贝到本地
hadoop fs -copyToLocal/user/admin/In/hello.txt testInput/hello.copy.txt
创建文件夹的方法
hdoop fs -mkdir testDir
上传文件到HDFS
将HDFS的文件复制到本地
2 Zookeeper
1.单机安装
单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如：/home/zookeeper-3.2.2 下，Zookeeper 的启动脚本在 bin 目录下，Linux 下的启动脚本是 zkServer.sh
2.配置
tickTime=2000
dataDir=D:/devtools/zookeeper-3.2.2/build
clientPort=2181
tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
clientPort：这个端口就是客户端连接Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
3.安装：集群模式
集群模式除了上面的三个配置项还要增加下面几个配置项：
initLimit=5
syncLimit=2
server.1=192.168.211.1:2888:3888
server.2=192.168.211.2:2888:3888
4.配置
initLimit：这个配置项是用来配置 Zookeeper接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒
syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒
server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。
除了修改 zoo.cfg 配置文件，集群模式下还要配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面就有一个数据就是 A 的值，Zookeeper 启动时会读取这个文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。
5.zoo.cfg
3 Hbase的安装
1.Hbase安装：单机模式
下载及解压hbase安装包
修改conf/hbase-env.sh脚本，设置环境变量
编辑hbase-site.xml进行配置
启动Hbase
验证Hmaster已经启动
进入shell
1.修改hbase-env.sh
修改内容： #java安装目录
export JAVA_HOME=/usr/java/jdk1.6.0_24
#Hbase日志目录
exportHBASE_LOG_DIR=/root/hadoop/hbase-0.94.6.1/logs
#如果使用HBase自带的Zookeeper值设成true 如果使用自己安装的Zookeeper需要将该值设为false
export HBASE_MANAGES_ZK=true
2.修改hbase-site.xml
hbase.rootdir指定Hbase数据存储目录
hbase.cluster.distributed 指定是否是完全分布式模式，单机模式和伪分布式模式需要将该值设为false
hbase.master指定Master的位
hbase.zookeeper.quorum 指定zooke的集群，多台机器以逗号分隔
3.修改conf下的regionservers文件
4. Hadoop hdfs-site.xml
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
该参数限制了datanode所允许同时执行的发送和接受任务的数量，缺省为256，hadoop-defaults.xml中通常不设置这个参数。
这个限制看来实际有些偏小，高 负载
5.拷贝hbase到所有的节点
6.启动命令
bin/start-hbase.sh
4 Hbase Shell
查询数据库状态
hbase(main):024:0>status
3 servers, 0 dead,1.0000 average load
查询数据库版本
hbase(main):025:0>version
0.90.4, r1150278,Sun Jul 24 15:53:29 PDT2011
创建表
hbase(main):011:0>create'member','member_id','address','info'
0 row(s) in 1.2210seconds
查看表信息
hbase(main):012:0>list
TABLE
member
1 row(s) in 0.0160seconds
hbase(main):006:0>describe 'member'
DESCRIPTION ENABLED
{NAME => 'member', FAMILIES =>[{NAME=> 'address', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0',true
VERSIONS => '3', COMPRESSION =>'NONE',TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY =>'false', BLOCKCACHE => 'true'}, {NAME =>'info', BLOOMFILTER => 'NONE',REPLICATION_SCOPE => '0', VERSI
ONS => '3', COMPRESSION => 'NONE',TTL=> '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'false',
BLOCKCACHE => 'true'}]}
1 row(s) in 0.0230seconds
删除列族：alter、disable、enable命令
hbase(main):003:0>alter 'member',{NAME=>'member_id',METHOD=>'delete'}
ERROR: Table memberis enabled. Disable itfirst before altering.
hbase(main):004:0>disable 'member'
0 row(s) in 2.0390seconds
hbase(main):005:0>alter'member',{NAME=>'member_id',METHOD=>'delete'}
0 row(s) in 0.0560seconds
hbase(main):008:0> enable 'member'
0 row(s) in 2.0420seconds
列出所有的表
hbase(main):028:0>list
TABLE
member
temp_table
2 row(s) in 0.0150seconds
删除表
hbase(main):029:0>disable 'temp_table'
0 row(s) in 2.0590seconds
hbase(main):030:0>drop 'temp_table'
0 row(s) in 1.1070seconds
查询一个表是否存在
hbase(main):021:0>exists 'member'
Table member doesexist
0 row(s) in 0.1610seconds
判断表是否enable或disable
hbase(main):034:0>is_enabled 'member'
true
0 row(s) in 0.0110seconds
hbase(main):032:0>is_disabled 'member'
false
0 row(s) in 0.0110seconds
插入记录
put'member','scutshuxue','info:age','24'
put'member','scutshuxue','info:birthday','1987-06-17'
put'member','scutshuxue','info:company','alibaba'
put'member','scutshuxue','address:contry','china'
put'member','scutshuxue','address:province','zhejiang'
put'member','scutshuxue','address:city','hangzhou'
put'member','xiaofeng','info:birthday','1987-4-17'
put'member','xiaofeng','info:favorite','movie'
put'member','xiaofeng','info:company','alibaba'
put'member','xiaofeng','address:contry','china'
put'member','xiaofeng','address:province','guangdong'
put'member','xiaofeng','address:city','jieyang'
put'member','xiaofeng','address:town','xianqiao'
获取一个行健的所有数据
hbase(main):001:0>get'member','scutshuxue'
COLUMN CELL
address:citytimestamp=1321586240244,value=hangzhou
address:contrytimestamp=1321586239126,value=china
address:provincetimestamp=1321586239197,value=zhejiang
info:age timestamp=1321586238965,value=24
info:birthday timestamp=1321586239015,value=1987-06-17
info:companytimestamp=1321586239071,value=alibaba
6 row(s) in 0.4720seconds
获取一个行键，一个列族的所有数据
hbase(main):002:0>get'member','scutshuxue','info'
COLUMN CELL
info:age timestamp=1321586238965,value=24
info:birthday timestamp=1321586239015,value=1987-06-17
info:companytimestamp=1321586239071,value=alibaba
3 row(s) in 0.0210seconds
获取一个行键，一个列族中一个列的所有数据
hbase(main):002:0>get'member','scutshuxue','info:age'
COLUMN CELL
info:age timestamp=1321586238965,value=24
1 row(s) in 0.0320seconds
更新一条记录
hbase(main):004:0>put'member','scutshuxue','info:age' ,'99'
0 row(s) in 0.0210seconds
hbase(main):005:0>get'member','scutshuxue','info:age'
COLUMN CELL
info:age timestamp=1321586571843,value=99
1 row(s) in 0.0180seconds
通过timestamp来获取数据
hbase(main):010:0>get'member','scutshuxue',{COLUMN=>'info:age',TIMESTAMP=>1321586238965}
COLUMN CELL
info:age timestamp=1321586238965,value=24
1 row(s) in 0.0140seconds
hbase(main):011:0>get'member','scutshuxue',{COLUMN=>'info:age',TIMESTAMP=>1321586571843}
COLUMN CELL
info:age timestamp=1321586571843,value=99
1 row(s) in 0.0180seconds
全表扫描
hbase(main):013:0>scan 'member'
结果略
删除指定行键的字段
hbase(main):016:0>delete'member','temp','info:age'
0 row(s) in 0.0150seconds
hbase(main):018:0>get 'member','temp'
COLUMN CELL
0 row(s) in 0.0150seconds
删除整行
hbase(main):001:0>deleteall'member','xiaofeng'
0 row(s) in 0.3990seconds
查询表中有多少行
hbase(main):019:0>count 'member'
2 row(s) in 0.0160seconds
清空表
hbase(main):035:0>truncate 'member'
Truncating 'member'table (it may take awhile):
- Disabling table...
- Dropping table...
- Creating table...
0 row(s) in 4.3430seconds
扫一扫
8607
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
