自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Hbase--表的设计原则以及数据热点问题

Hbase–表的设计原则以及数据热点问题 文章目录Hbase--表的设计原则以及数据热点问题一、列簇设计二、RowKey 设计Rowkey 设计三原则一、rowkey 长度原则二、rowkey 散列原则三、rowkey 唯一原则三:数据热点防止数据热点的有效措施:加盐哈希反转时间戳反转 一、列簇设...

2019-10-31 22:04:04

阅读数 12

评论数 0

原创 Hbase--高级shell的使用

Hbase–高级shell的使用 文章目录Hbase--高级shell的使用1、 BLOOMFILTER2、 VERSIONS3、 COMPRESSION4、 TTL5、 alter6、 describe/desc7、 disable_all/enable_all/drop_all (禁用/启用...

2019-10-31 21:30:02

阅读数 38

评论数 0

原创 HBase--内存结构之跳表数据结构浅析

参考原文:https://blog.csdn.net/mango_song/article/details/42490567 HRegion在sotre管理上用到了跳表数据结构ConcurrentSkipListMap: ConcurrentSkipListMap有几个ConcurrentHash...

2019-10-31 19:39:14

阅读数 33

评论数 0

原创 Hbase–系统架构以及物理存储

Hbase–系统架构以及物理存储 文章目录Hbase--系统架构以及物理存储系统架构架构图:一:Client二:Zookeeper三:Master四:RegionServer五:region注意:物理存储物理存储模型图:一:基本概念二:memStore和StoreFile三:Storefile和...

2019-10-31 15:52:46

阅读数 16

评论数 0

原创 Hbase和Hive的整合

Hbase和Hive的整合 文章目录Hbase和Hive的整合一:为什么Hive要和Hbase整合,意义何在?二:整合原理三:整合步骤1)添加hbase连接的zk路径2)设置hbase在zk中的访问路径3)添加一个jar包到hive的classpath路径下四:检验是否成功1.在hbase中创建表...

2019-10-31 11:35:54

阅读数 14

评论数 0

原创 Hbase--海量数据导入Hbase和Hbase数据导入Hdfs

Hbase–海量数据导入Hbase和Hbase数据导入Hdfs 文章目录Hbase--海量数据导入Hbase和Hbase数据导入Hdfs一:海量数据导入Hbase1.代码实现2.遇到的错误以及注意要点二:数据从Hbase导入到Hdfs1.代码实现2.遇到的错误以及注意要点 一:海量数据导入Hbas...

2019-10-26 15:03:49

阅读数 306

评论数 0

原创 Hbase--练习题一(步骤+踩过的坑)

Hbase–练习题一(步骤+踩过的坑) 一:读取本地文件到Hdfs 1.代码实现 public class FileOutPutBbase { public static void main(String[] args) throws IOException { //获取配置 ...

2019-10-26 14:24:28

阅读数 72

评论数 0

原创 修改Linux用户名

由于安装虚拟机的时候将用户名设置错了,改的时候花了一点功夫,特此来记录一下 在linux上直接改名字是不行彻底的,还要对用户的家目录、UID、组名都要进行修改 如果我们要将用户名为spark的主机修改为hadoop 1.更改用户名 sudo usermod -l hadoop spark 2.杀...

2019-10-25 09:30:59

阅读数 29

评论数 0

原创 Hbase--Scan全局扫描中的过滤器

Hbase过滤器 文章目录Hbase过滤器一·:hbase 过滤器的比较运算符: CompareOp二:HBase 过滤器的比较器(指定比较机制):三:过滤器的分类1.指定扫描2.比较过滤器:2.专用过滤器 一·:hbase 过滤器的比较运算符: CompareOp LESS < LESS...

2019-10-24 22:36:04

阅读数 39

评论数 0

原创 Hbase--API操作

Hbase–API操作 一:API简介 数据库操作: HbaseConfiguration:配置文件连接对象,进行加载配置文件,获取zk的连接 HBaseAdmin:ddl的句柄对象,ddl的入口对象 表: Htable:表对象,dml的入口对象,对表数据进行操作的 HT...

2019-10-23 00:05:34

阅读数 31

评论数 0

原创 Hbase--API删除数据详解

Hbase–API删除数据详解 文章目录Hbase--API删除数据详解一:代码实现如下:二:分析和实践1)删除指定的rowkey下的所有数据2)删除指定删除指定的列族3)删除指定的列1.addColumn()2.addColumns()3.测试 一:代码实现如下: public cla...

2019-10-23 00:00:07

阅读数 134

评论数 1

原创 Hbase--shell的使用

Hbase–shell的使用 文章目录Hbase--shell的使用一:Group name: general 通用命令二:Group name: namespace namespace 相关命令1)创建namespace2)查看namespace列表3)查看表的详细信息4) 修改...

2019-10-21 23:06:51

阅读数 49

评论数 0

原创 Hbase--安装步骤

Hbase的安装 文章目录Hbase的安装安装准备:安装版本:安装步骤:1)上传2)解压3)配置环境变量4)修改配置文件①vi hbase-env.sh②vi hbase-site.xml③将hadoop的hdfs-site.xml core-site.xml拷贝到hbase的conf下④修...

2019-10-21 17:49:19

阅读数 40

评论数 0

原创 Hbase--基本概念以及设计思想架构

一:hbase的产生背景 Hadoop 的限制 Hadoop 只能执行批量处理,并且只以顺序方式访问数据。这意味着必须搜索整个数据集, 即使是最简单的搜索工作。当处理结果在另一个庞大的数据集,也是按顺序处理一个巨大的 数据集。在这一点上,一个新的解决方案,需要访问数据中的任何点(随机访问)单元...

2019-10-21 11:35:39

阅读数 180

评论数 0

原创 Hive--数据倾斜以及解决方案

数据倾斜 一:什么是数据倾斜? ​ 由于数据分布不均匀,造成数据大量的集中到一点,造成数据热点 ,简单来说就是大量相同的key被partition到同一个分区里面导致某些或者某个reducetask压力过大,而一些reducetask闲住。这样也违背了并行计算的初衷。 二:数据倾斜的主要表现? ​...

2019-10-20 23:11:02

阅读数 26

评论数 0

原创 Hive--HQL的转换过程

Hive–HQL的转换过程 文章目录**Hive--HQL的转换过程**一:Hive的执行过程概述:操作符列表Hive 编译器的工作职责:优化器的类型:二:具体转化过程1)join2)group by3)distinck 一:Hive的执行过程概述: Hive 将 HQL 转换成一组操作符(O...

2019-10-20 17:57:49

阅读数 24

评论数 0

原创 spring常见十大异常

spring常见十大异常 一、找不到配置文件的异常 [plain] view plaincopy org.springframework.beans.factory.BeanDefinitionStoreException: IOException parsing XML document...

2019-10-19 22:43:21

阅读数 12

评论数 0

原创 Hive的shell以及Hive参数的配置

Hive的shell以及Hive参数的配置 Hive的shell 一:进入Hive的客户端之前 执行语句相关的 hive -e "sql" ; hive -e "show dtabase;" 执行单个sql语句 执行顺序是:启动客户端–》执行语...

2019-10-19 22:27:09

阅读数 26

评论数 0

原创 Hive--开窗函数

窗口函数(分析函数) 文章目录窗口函数(分析函数)一:问题引入二:开窗函数的好处三:开窗函数的使用1)over字句和聚合函数一起使用2)over字句和row_number | rank | dense_rank 一起使用四:开窗函数的总结 一:问题引入 ​ 例题:求部门中年龄最大的那个人? ​ 表...

2019-10-19 17:50:48

阅读数 58

评论数 0

原创 Hive查询显示表头,以及切换本地模式

一:HIve中查询数据表中的信息默认是不显示表头的 可以通过修改hive安装文件中的配置文件 [hadoop@hadoop03 conf]$ vi hive-site.xml <property> <name>hive.cli.print.h...

2019-10-19 15:56:09

阅读数 41

评论数 2

原创 hive中写sql语句出现schematool -dbType mysql -initSchema错误

错误: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.m...

2019-10-18 11:05:16

阅读数 47

评论数 0

原创 Hive概要

Hive概要 一:产生背景 虽然hadoop有效的解决了大规模数据的存储和统计的问题,但是MapReduce编程十分繁琐,在大多情况下,每个MapReduce程序需要包含Mapper、Reduceer和一个Driver,之后需要打成jar包扔到集群上运 行。如果mr写完之后,且该项目...

2019-10-17 14:42:33

阅读数 52

评论数 0

提示
确定要删除当前文章?
取消 删除