- 博客(39)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 hive之自定义函数
hive之自定义函数Hive的自定义函数（是Java语言）：类似数据库的存储过程类型： （1）UDF函数：用户自定义函数 user define function （*）拼加字符串，实现SQL的concat函数 （*）根据员工薪水，判断薪水的级别 sal <...
2020-04-29 17:04:30
518
原创 hive的jdbc
hive的jdbchive的jdbc和base上的phoenix组件使用一样，同样需要连接到一个服务上，只不phoenix是通过zookeeper连接的，而hive的2.X之后需要使用hiveserver2 （后台需要单独启动hiveserver2），它的调用过程和phoenix一模一样！操作过程，启动后台hiveserver2...
2020-04-28 22:32:55
800
原创 hive的分析函数
hive的分析函数1、rollup：group by 的增强函数实现根据部门号、工作职位求工资总和，根据部门求工资总和，查所有人的工资总和 通过group by 语句的增加来实现： select deptno,job,sum(sal) from emp group by rollup(dep...
2020-04-28 17:23:23
1625
1
原创 hive数据模型之视图和物化视图
hive数据模型之视图视图视图是用来简化操作的，它其实是一张虚表，在视图中不缓冲记录，也没有提高性能测试：create view view1asselect dept.deptno,dept.dname,emp.enamefrom emp,deptwhere emp.deptno=dept.deptno;物化视图 （*）能够缓存数据 ...
2020-04-27 15:43:33
2640
原创 hive数据模型之桶表
hive的桶表类似于hash分区，桶表在hdfs中存储是以文件形式存储的与其他分区表不同，桶表的分区条件是从表中列名选取的，然后做hash运算，如果hash值相同那么就放入一个桶表中创建桶表的示例：create table emp5(empno int,ename string,job string,mgr int,hiredate string,sal int,com...
2020-04-27 14:48:39
419
原创 hive数据模型之分区表
分区表： 有两种类型 静态分区：需要事先指定分区的条件，不是很灵活 根据员工的部门号建立分区 create table emp_part_1 (empno int, ...
2020-04-27 01:37:49
292
原创 hive的数据模型之内部表和外部表
hive的数据模型hiv的数据模型有6种：内部表 外部表 分区表 静态分区 动态分区 桶表 视图 物化视图内部表 从hive上创建的表通过hive存储到hdfs上的表叫内部表 默认：在/user/hive/warehouse/目录下（hdfs上的目录） 删除内部表：元数据、数据都会被删除 ...
2020-04-27 01:01:14
291
原创 hive搭建之本地模式和远程模式
hive搭建之本地模式和远程模式hive的本地模式和远程模式区别在于用于存储表结构元信息的数据库在本地还是远程，如果数据库在本地那么就叫做本地模式，如果在远程那就叫做远程模式搭建我们数据库使用的是mysql，在搭建之前还需要注意的就是需要导入一个mysql的驱动到hive的lib中建议导入一个高版本的，实验中我们使用的是5.1.34的jar包修改配置文件，用户环境变量我们使...
2020-04-26 21:21:40
1598
原创 hive搭建之嵌入模式
hive搭建之嵌入模式hive是基于hdfs和yarn平台的，所以在搭建之前先把hadoop搭建起来什么是hive的嵌入模式我认为hive的嵌入模式就是它使用的创建元信息的数据库是嵌入到hive中的derby数据配置先把下载好的tar.gz包解压 解压我们需要配置一个用户的环境变量3.然后在配置一个配置文件cd /root/training/apache-hive...
2020-04-24 23:22:50
989
原创 hive的体系架构
大数据分析引擎：Hive（蜂巢），支持SQL（表：数据模型）1、什么是Hive？ （*）Hive是基于HDFS之上的一个数据仓库 Hive HDFS 表 目录 数据 文件 分区 目录...
2020-04-24 17:54:44
278
原创 hbase的sql组件之phoenix和phoenix的二级索引的使用
hbase的sql组件之phoenixhbase是一个列式nosql分布式存储引擎，在javaapi中对hbase的操作都是基于对象的形式，也可以写mapreduce程序读取hbase上的数据和把数据写入数据，phoenix组件给hbase添加了一个功能就是用sql来操作，这个组件可以在hbase上执行ddl和dml语句。最重要的是支持二级索引，因为在hbase中只支持rowkey索引不支持...
2020-04-23 22:11:01
756
1
原创 hbase启动不起来，总是刚启动然后主节点和从节点都挂掉了
我出现这个原因是因为我在这个节点上放了俩个hbase导致的，我是为了测试phoenix放了一个hbase2.2和hbase2.0，最后我把hbase2.0删除了就可以正常启动了
2020-04-22 03:33:57
870
原创 我更换hbase版本的时候出现报错，我觉的是因为hadoop版本和hbase版本不一致导致的
hadoop版本是3.1.2hbase版本是由原来2.2改成2.0出现启动hbase一会后Hmaster就自动宕机然后查看日志说找不到一个初始化文件Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.master.procedure.InitMetaProcedure at java....
2020-04-22 03:00:17
477
原创 解决执行hbase clean 和hbase zkcli 出现的找不到类
[root@bigdata111 apache-phoenix-5.0.0-HBase-2.0-bin]# hbase clean --cleanAll错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty错误:...
2020-04-22 02:31:02
1013
原创 怎么查找Hbase所有的版本
我们一般在百度或者其他的搜索引擎中一般搜到的是这个https://hbase.apache.org/我们点击进去，就看到下面的页面然后在download处的here，然后我们就看到下面的这张图，这张图中所列的版本不是所有的版本，接着我们找他的归档目录然后我们再点击红框处，看到下面的页面然后我们再点击红框出，进入到以下页面然后我们找见了apache所有组件的目录，...
2020-04-21 21:06:30
3713
原创 hbase的高级特性之主从复制
HBase默认此特性是关闭的，需要在集群上（所有集群）进行设定并重启集群。 hbase.replication true 实验：启动两个HBase 注意：需要配置各自的/etc/hosts文件，加入对方的IP和主机名。 在源集群上和目标集群上都新建表 源 集 群： create 'testtable','info' 目标集群： create 'testt
2020-04-20 01:17:26
1080
原创 hbase高级特性之用户权限管理和备份与恢复
hbase高级特性之用户权限管理**简介：**在hbase中权限管理，我们需要在hbase-site.xml配置才可以使权限管理设置生效用户分超级用户和普通用户，超级用户直接在hbase-site.xml中指定，我们只配置普通用户的权限权限：读 R写 W执行 X创建表 C管理 A作用范围（scope）：namespace表列族...
2020-04-20 00:49:58
741
原创 hbase的高级特性之Bulk Loading 批量加载
hbase的高级特性之Bulk Loading 批量加载hbase的批量加载工功能是为了 提高数据存储的性能，它是通过csv文件来批量加载hbase批量加载的本质是将csv文件转换成hbase的hfile，然后把hfile映射到hbase中第一步：创建表在hbase命令行模式下创建表create ‘emp’,‘info’,‘money’第二步：把csv文件转换成hfile 使用Impo...
2020-04-20 00:31:51
1150
原创 hbase的高级特性---多版本
hbase的高级特性—多版本、快照、批量加载、用户和权限管理、备份与恢复、HBase主从复制1、多版本hbase的多版本是利用hbase针对某个列族控制最多可以放入的数据个数，我们只需修改表中的versions值就可以，如果versions值是1，那么我们只可以在这个cell单元中存放一个值，如果versions的值是2，那么我们可以往cell最多存放2个值。接下来我们测试一下(1)先创建一...
2020-04-19 23:35:52
1659
原创 hbase的高级特性之快照功能
hbase的高级特性之快照功能关于snapshot的快照总共有这么多命令：clone_snapshot：这个命令的意思是通过克隆的内容创建一个新表，在创建表的时候不会产生数据副本也不会影响原来的快照数据，仅仅是通过快照重新创建了一个新表，并且包含了快照时的数据使用方法：（1）clone_snapshot ‘snapshotName’, ‘tableName’使用快照在默认表空间中创建一...
2020-04-19 23:35:23
1638
原创 hbase的系统表、分裂、下载和上传
hbase的分裂、上传和下载hbase的系统表储存在命名空间为hbase中：因为我们之前安装hbase的时候配置了hbase的存储在hdfs中的位置所以我们在hdfs的这个目录下有关于hbase的所有的目录在hbase路径中的hbase文件夹就是hbase中维护的系统表:namespace和metanamespace是维护着所有的命名空间meta是维护hbase中的所有的列族但是...
2020-04-19 02:11:15
747
原创 hbase之MapReduce程序
在写基于hbase的mapreduce时程序时候，与以前基于hbase的稍有不同1、Mapper、Reducer与以前继承的类有点不同，现在继承TableMapper和TableReducer2、在Mapper中是从hbase读取的表来处理的，在Reducer中最终也是要输出到hbase中3、在Mapper中多出了一个类型就是行健的类型，以前是偏移值，在Reducer中也是多了一个hb...
2020-04-16 17:36:47
1341
原创 hbase的javaapi操作之过滤器fillter
hbase的javaapi操作之过滤器fillter过滤器：相当于where语句因为列值过滤器都属于表的操作，属于DML语句，所以我们使用链接来获取表，再用表进行操作而这个过滤器最终是塞到了SCAN对象中进行操作的，相当于select * from emp where测试数据：员工表（）列值过滤器列值过滤器就是某一列的是多少的行（）列名前缀过滤器（）多个列名前缀过滤器（）rowk...
2020-04-15 03:04:55
773
原创 解决hbase中主机宕机引起的hbase shell中命令不可用的问题：ERROR: KeeperErrorCode = NoNode for /hbase/master
ERROR: KeeperErrorCode = NoNode for /hbase/master从这句话的意思来看应该是HMaster宕机引起的，然后我们用jps查看一下是否真的宕机从这张图看只有一个zookeeper和hbase shell命令行工具启动着，整个hbase都宕机了，我们试着启动一下hbase看能否解决这个问题从最后的jps中看到，应该是启动成功了，然...
2020-04-15 01:36:59
3039
原创 golang的切片容量的理解
go的切片相对于数组就是它的长度不再是固定的可以自动扩容在定义上只是比数组少了固定长度数组的声明方式：var 数组变量名 [元素数量]T切片的声明方式var name []T...
2020-04-14 23:21:25
1557
原创 hadoop搭建伪分布环境
伪分布环境特点：（1）在单机上模拟一个分布式环境 HDFS：NameNode、DataNode、SecondaryNameNode Yarn：ResourceManager、NodeManager （2）具备Hadoop的所有功能 （3）用于开发和测试注意...
2020-04-14 23:17:07
568
2
原创 代码操作hdfs
首先准备jar包，如果是想编写关于操作hdfs的代码需要引入hadoop/share目录下的包/root/training/hadoop-3.1.2/share/hadoop/common/*.jar/root/training/hadoop-3.1.2/share/hadoop/common/lib/*.jar/root/training/hadoop-3.1.2/share/h...
2020-04-14 23:16:26
628
原创 大数据中的Mapreduce的排序
Mapreduce的排序都是基于K2排序的：自定义字符串Text类型的排序自定义数字intWritable的排序自定义自定义数据类型的排序MapReducer的字符排序是按照字典顺序排序的，数字排序则是按照从小到大的排序的，如果我们想修改默认的排序需要继承他们的对应类型的Comparator的类import org.apache.hadoop.io.Text.Compara...
2020-04-14 23:15:17
374
原创 Mapreduce的链式编程
Mapreduce程序根据任务需求可分成多个Mapper和Reducer，我们把多个Mapper和Reducer窜起来来满足逻辑需求的编程，我们叫链式编程，每一段Mapper都处理不一样的逻辑，上一级Mapper的输出是下一集Mapper的输入，也可以在Reducer过程当中添加Mapper在创建任务的时候需要使用ChainMapper和ChainReducer串联起来，他们公共线路我认为...
2020-04-14 23:14:52
404
原创 MapReduce的分区功能
MapReduce的分区功能自我理解其实它最终的功能是为了计算出来的数据分区存储，方便日后查询更看我们今天一个部门值来进行分区，MapReduce分区是从Map输出的K2阶段进入到Reducer时候在聚合相同key2的时候就开始进入分区相同的Key2我们会把它放入到一个分区中，Reducer的主要作用为了聚合相同的Key2要想做分区我们需要写出分区规则让reduce进行分区，需要实现Par...
2020-04-14 23:13:32
1429
原创 MapReducer的Combiner
MapReducer的Combiner的功能是为了提前在各个节点上聚合，减少最后所有的节点所有数据最终聚合到一个Reducer中，减少网络资源使用，Combiner其实是一个特殊的Reducer，总结以下作为combiner的优点：（*）Combiner是一种特殊的Reducer（*）在Map端执行，对Map的输出进行一次本地聚合，减少输出到Reducer端的数据量（*）减少网络的开销，提...
2020-04-14 23:13:06
648
原创 MapReduce中的MapJoin和ReduceJoin
ReduceJoin的体现是在Reduce阶段中就体现了，因为他是将不同数据块输出的相同的key2给聚合起来，所以只要Map阶段把不同的表或文件读取进来并做好区分就可以在reducer阶段进行ReduceJoinMapjoin不适合做大表Join，只适合用做小表，可以把小表提前放入缓冲中，在Map阶段进行join示例代码：import java.io.BufferedReader;...
2020-04-14 23:12:33
454
原创 HBase的本地模式的安装和HBase的简单介绍
HBase是基于Hdfs的，因为hadoop的本地模式或者是单机模式没有hdfs功能的，所以单机版的HBase数据不能存储在Hdfs上，只能存在linux上，所以单机版的HBase不需要启动Hadoop，单机版Base中只有HMasterHBase的HBase：基于HDFS之上的NoSQL，存储单点故障 HBase ...
2020-04-14 23:11:37
1327
原创 hbase的伪分布模式搭建
伪分布模式：开发和测试，单节点（ZooKeeper、HMaster、RegionServer）hbase-env.sh export JAVA_HOME=/root/training/jdk1.8.0_181 使用HBase自带ZooKeeper export HBASE_MANAGES_ZK=t...
2020-04-14 23:10:53
425
原创 HBase的全分布搭建和HA的搭建
HBase的全分布搭建介绍：搭建全分布HBase也是依赖与全分布的Hdfs，所以首先搭建Hdfs的全分布环境，以前我的笔记中有关于hadoop的全分布搭建，如果需要去找以前的文章配置文件注意一个问题：保证集群中每个节点的时间一致如果不一致会导致MapReduce：出错HBase：RegionServer自动的Shutdown在配置文件前一定配置hbase的配置文件 在bigda...
2020-04-14 23:10:27
272
原创 命令行hbase shell操作hbase
命令行hbase shell操作hbase如果想查看所有关于hbase shell的命令在命令行工具中输入help如果想查看某个命令的话输入help ”命令名称“我们就查看一个get命令举例：get 命令相当于指定行select 语句我们执行help gethbase(main):003:0> help “get”Get row or cell contents; pass t...
2020-04-14 23:10:05
2007
原创 Hbase的javaAPI之基础操作
Hbase的javaAPI操作首先需要导入依赖的jar包，把解压hbase目录中的/root/training/hbase-2.2.0/lib中所有的jar包和/root/training/hbase-2.2.0/lib/client-facing-thirdparty下的所有jar导入到你开发hbase的工程文件当中注意几点一、因为客户端是通过client连接zookeeper来操作h...
2020-04-14 23:09:42
656
原创 hadoop搭建全分布环境
特点：（1）用于生产，至少3台机器 （2）真正的分布式 （3）具备Hadoop的所有的功能准备工作： 安装JDK、配置主机名、免密码登录 关闭防火墙、同步时间（date命令） 设置环境变量 HADOOP_HOME=/root/tra...
2020-04-14 23:09:07
906
原创 hadoop3.0结构目录介绍和hdfs的本地模式搭建
使用tree命令查看hadoop的目录机构：tree -d -L 3 hadoop-3.1.2/-d 表示查看的是文件夹-L 表示查看深度hadoop-3.1.2 具体查看那个目录也可以用tree命令直接查看，但是由于hadoop目录太深且文件较多所以展开不太现实然后我们就看一下hadoop的结构目录：hadoop本地模式没有Hdfs功能没有Mapreduce功能，所...
2020-04-14 23:08:37
650
Strawberry Perl
2022-08-08
betaflight-configurator的安装软件
2018-09-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人