hbase
王文友
这个作者很懒,什么都没留下…
展开
-
hbase1
1.hbase集群增加节点假设新增节点ip为:192.168.1.10,slave21.修改/etc/hosts文件,在所有节点(除新加节点)上运行如下命令以追加新机器名与ip绑定到host文件然后将hosts文件复制到slave2echo ‘192.168.1.10’ slave2 >> /etc/hosts2.修改…/hadoop-2.6.5/etc/hadoop/sla...原创 2019-08-28 16:10:29 · 141 阅读 · 0 评论 -
hbase自定义mr-2
1.目标:实现将hdfs中的数据写入到hbase表中//数据样式1001 apple red1002 pear yellow1003 pineapple yellow1.创建fruit.tsv,导入数据,上传到hdfs / 下2.hbase 中 创建 fruit2 表3.把下面自定义 mr2打包 上传到集群中 // 例如: /opt 下4.运行命令:/opt/hadoop/bi...原创 2019-09-15 16:46:42 · 131 阅读 · 0 评论 -
hbase自定义mr-1
1.目标:将fruit表中的一部分数据,通过mr迁入到fruit1表中从hbase读数据,经过mr,最终写入hbase中//数据样式1001 apple red1002 pear yellow1003 pineapple yellow/opt/hadoop/bin/yarn jar /opt/hbase/lib/hbase-server-1.4.3.jar importtsv-Dim...原创 2019-09-15 16:46:11 · 160 阅读 · 0 评论 -
hbase搭建
1.创建hbase用户useradd hbasepasswd hbaseRetype new passwd2.添加java_home环境变量到hbase用户vi ~/.bashrcexport JAVA_HOME=/opt/jdk-12.0.2export PATH=$PATH:JAVA_HOME/bin3.添加hbase_home环境变量到hbase用户中vi ~/.bashr...原创 2019-09-14 17:06:22 · 721 阅读 · 0 评论 -
hbase中执行mr任务
1.查看hbase的mr任务的执行bin/hbase mapredcp2.环境永久生效,在/etc/profilevi /etc/profileexport HBASE_HOME=/opt/hbaseexport HADOOP_HOME=/opt/hadoop并在hadoop-env.sh中配置(for循环后面配)vi hadoop-env.shexport HADOOP_CLA...原创 2019-09-14 17:04:50 · 737 阅读 · 0 评论 -
hbase API 增删改查
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.HBaseConfiguration...原创 2019-09-12 19:54:42 · 168 阅读 · 0 评论 -
hbase7
1.删除表,列,列族时,严格按照时间戳来执行当 时间戳<删除时的时间戳 时,小于的时间戳的所有版本都被删除2.主键:rowkey访问hbase table中的行,只有三种方式1)通过单个rowkey访问2)通过rowkey的rang(正则)3)全表扫描rowkey可以是任意字符串,最大长度为64kb,rowkey保存为字节数组,存储时数据按照rowkey的字典顺序排序3.列族...原创 2019-09-11 15:40:27 · 96 阅读 · 0 评论 -
hbase6
1.进入hbasebin/hbase shell2.启动hbasebin/start-hbase.sh3.关闭hbasebin/stop-hbase.sh4.如果在关闭hbase时,出现…一直等待情况,直接jps,killkill -9 5578 //假设5578为hbase端口号5.进入zookeeper查看是否还有hbase进程bin/zkCli.shls /6....原创 2019-09-11 15:39:51 · 132 阅读 · 0 评论 -
hbase5
1.创建列族中有version的表create ‘user’ , {name=>‘info’ , versions=>10}2.测试version的作用put ‘user’ , ‘row1’ , ‘info:name’ , ‘x’put ‘user’ , ‘row1’ , ‘info:name’ , ‘x1’put ‘user’ , ‘row1’ , ‘info:name’ ...原创 2019-09-01 16:34:06 · 120 阅读 · 0 评论 -
hbase4
1.删除info列族,建表后alter ‘table’ , ‘delete’ => ‘info’2.增加info列族,建表后alter ‘table’ , ‘name’ => ‘info’3.添加数据put ‘user’ , ‘row1’ , ‘info:name’ , ‘san’put ‘user’ , ‘row2’ , ‘info:age’ , ‘20’put ‘us...原创 2019-09-01 16:33:30 · 106 阅读 · 0 评论 -
hbase3
1.获取用户对商品1001的行为scan ‘s_behavie’ , filter => “ValueFilter(=,‘binary:1001’)”row column+cell12_1 column=pc:v,timestamp=1234,value=100112_1 column=ph:o,timestamp=1235,value=1001//注意:ValueFilter会匹...原创 2019-08-31 17:26:57 · 212 阅读 · 0 评论 -
hbase2
1.创建表create ‘table_name’ ,{name=>‘pc’},{name=>‘ph’}该表名为:table_name,用来存储用户的行为数据,这个表有两个列族,列族pc用来存储用户pc端的用户行为数据,列族ph用来存储用户的手机端的用户的行为数据。2.查看所有表list会列出hbase数据库中所有已经创建的表3.查看建表describe ‘table_n...原创 2019-08-28 16:11:03 · 134 阅读 · 0 评论 -
hbase优化
1.高可用,hbase支持对Hmaster的高可用配置,下面都是在主节点执行的关闭Hbase集群(没启动,就跳过这步)bin/stop-hbase.sh在conf目录下创建backup-masters文件touch conf/backup-masters在backup-masters文件中配置高可用Hmaster节点echo hadoop103 > conf/backup-mas...原创 2019-09-16 17:47:43 · 124 阅读 · 0 评论