HBase
HBase
梁云亮
电 话:13264494458
微 信:13264494458
扣 扣:369950806
展开
-
Linux 大数据项目无法输出日志文件的解决方法
Hadoop中输出日志信息时,代码没有错误,但是查看不到日志文件。导致这种问题出现的原因是:程序在执行时引用了其他的jar包,引用的jar包中可能包含了其他log4j相关的配置文件。由于log4j配置文件的引用存在优先级,因此程序没有使用我们之前更改的log4j.properties文件,而是使用了jar包中的配置文件,导致更改没有奏效。解决办法,在主方法所在的类中,通过加入代码,直接指定使用...原创 2020-04-17 12:52:01 · 1168 阅读 · 0 评论 -
集群时间同步
原理找一个机器,作为时间服务器,集群中所有的机器与这台机器的时间进行同步。比如,每隔十分钟,同步一次时间。配置规划主机名hcmasterhcslave1hcslave2IP地址192.16.85.140192.16.85.141192.16.85.142角色时间服务器实现首先三台虚拟机都切换为root用户,下面所有的操作都在root用户下完成...原创 2020-03-09 17:38:12 · 837 阅读 · 0 评论 -
谷粒微博:代码实现
常量接口public interface Constant { //命名空间 String NAMESPACE="weibo"; //内容表 String CONTENT="weibo:content"; //用户关系表 String RELATIONS="weibo:relations"; //收件箱表 String INB...原创 2020-03-15 21:25:36 · 522 阅读 · 0 评论 -
谷粒微博:需求、设计及代码框架
软件HBase2.1.3需求关注用户取关用户发布微博查看微博表设计用户关系表uid:当前用户,也就是操作者的编号,格式:具体值/用户idattends:表示用户关注的人,一个人可以关注多个用户fans:表示用户的粉丝,一个人可以有多个粉丝A关注B的同时,B是A的粉丝示例:微博内容表uid_ts:微博的编号,格式:用户id_时间戳content:微博...原创 2020-03-15 09:28:52 · 384 阅读 · 0 评论 -
HBase高可用
第一步:在hcmaster的/usr/local/hbase-2.1.3/conf目录中创建文件backup-masters第二步:往backup-masters中添加内容hcslave1第三步:做分发命令:xsync.sh /usr/local/hbase-2.1.3/conf/backup-masters在hcslave1和hcslave2的/usr/local/hbase...原创 2020-03-12 08:24:15 · 470 阅读 · 0 评论 -
HBase2.1.3整合Hive3.1.2
相关博客错误:org.apache.hbase.thirdparty.com.google.common.cache.CacheLoader的解决方案hbase与hive集成第一步:创建HBase和Hive环境变量第二步:将HBase中的jar包软链接到hiveln -s $HBASE_HOME/lib/hbase-common-2.1.3.jar $HIVE_HOME/lib/hb...原创 2020-03-11 21:25:37 · 1104 阅读 · 2 评论 -
org.apache.hbase.thirdparty.com.google.common.cache.CacheLoader
错误:Hive与HBase整合过程中创建关联表正确,往Hive中导入数据时出现错误:解决办法将guava-11.0.2.jar拷贝到${HADOOP_HOME}/bin目录下面原创 2020-03-11 20:59:18 · 2274 阅读 · 4 评论 -
复制HBase表的数据到新表
准备工作1.在HBase中创建一个名为fruit的表作为源表,如下:2. 在HBase中再创建一个名为fruit2的表作为目标表,如下:3. 往表中添加几组数据创建Mapperpublic class FruitMapper extends TableMapper<ImmutableBytesWritable, Put> { @Override prot...原创 2020-03-11 18:16:35 · 1530 阅读 · 0 评论 -
将HDFS中的数据写入HBase
准备工作在HDFS的/input目录下创建一个名为fruit.tsv的文件,内容如下:在HBase中创建一个名为fruit的表,如下:创建Mapperpublic class FruitMapper extends Mapper<LongWritable, Text, ImmutableBytesWritable, Put> { @Override protect...原创 2020-03-11 17:59:13 · 2218 阅读 · 1 评论 -
HBase集成MapReduce:官方示例
环境配置HBase与MapReduce集成时,MapReduce中要持有Hbase的jar包,步骤如下:第一步:修改hcmaster的/etc/profile文件export HBASE_HOME=/usr/local/hbase-2.1.3/hbase-1.3.1export HADOOP_HOME=/usr/local/hbase-2.1.3/hadoop-2.7.2第二步:修改h...原创 2020-03-11 00:36:22 · 471 阅读 · 0 评论 -
HBase API 之 表数据操作
相关博客win10安装hadoop3.1.2HBase集群中原有数据:第一步:创建Maven项目,导入依赖<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version...原创 2020-03-10 18:59:19 · 1323 阅读 · 0 评论 -
HBase API 之 表操作
相关博客win10安装hadoop3.1.2HBase集群中原有数据:第一步:创建Maven项目,导入依赖<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version...原创 2020-03-10 18:45:46 · 633 阅读 · 0 评论 -
HBase Shell表操作
创建表语法:create 表名,列族名字,列族名字,列族名字…示例:查看表结构语法:create 表名,列族名字,列族名字,列族名字…示例:插入数据语法:put 表名,行键,列族名字:列名,值,列族名字:列名,值,列族名字:列名,值…示例:扫描表数据语法:scan表名示例:查看指定行或指定列的数据语法:获取指定行:get 表名,行键获取指定...原创 2020-03-10 10:08:50 · 2435 阅读 · 0 评论 -
HBase安装配置
注意HBase安装依赖于正在运行的Haddop集群和ZooKeeper集群软件版本:hadoop:3.1.2zookeeper:3.4.13hbase:2.1.3前置工作1)集群时间同步参考博客:集群时间同步集群时间同步这一步是必须做的,否则HBase可能会启动不起来。2)Hadoop安装配置参考博客:Hadoop安装配置3)Hadoop安装配置参考博客:Hadoop安装...原创 2020-03-09 19:29:39 · 590 阅读 · 0 评论 -
hbase启动报错 java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder
解决方案:cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar $HBASE_HOME/lib/原创 2020-03-09 18:01:10 · 530 阅读 · 0 评论 -
HBase架构
Hbase架构图:从图中可以看出Hbase是由Client、Zookeeper、HMaster、HRegionServer、HDFS等几个组件组成:ClientClient是整个Hbase集群的访问入口,它维护了对应的cache(Block Cache)来加速Hbase的访问,比如cache的.META元数据的信息等。Client使用Hbase RPC机制与HMaster和HRegion...原创 2020-03-06 11:10:29 · 332 阅读 · 0 评论 -
HBase简介
简介HBase的原型是Google的BigTable论文,目前作为Hadoop的子项目来开发维护,用于支持结构化的数据存储。HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase常被用来存放一些结构简单,但数据量非常大的数据(通常在TB级别以上),如历史订单记录,日志数据,监控Metris数据等等,...原创 2020-03-06 10:14:46 · 667 阅读 · 0 评论 -
HBase报错:找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty
sqoop版本:1.4.7Hbase版本:2.1.3错误:Sqoop关联HBase报错:找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty解决方案第一步:修改hbase/bin/目录下的hbase文件切到182行,在add_to_cp_if_exists “${HBASE_HOME}/hbase-server/target”...原创 2020-03-05 13:34:49 · 8555 阅读 · 4 评论 -
大数据各软件版本适配信息
参考:Apache HBase ™ Reference Guide原创 2019-11-24 16:22:19 · 594 阅读 · 0 评论