Hive
滑冰选手库里
纸上得来终觉浅,绝知此事要躬行
展开
-
解决Exception in thread “main“ java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSONObject
尝试了一些操作之后发现将对应的包com.alibaba:fastjson:1.2.47引入进去就不会报错了原创 2021-11-23 17:39:05 · 2763 阅读 · 0 评论 -
在启用了HDFS HA的集群误删了一个NameNode解决实践
在启用了HDFS HA的集群,2个NameNode节点上一般都会部署三个角色:NameNode,JournalNode和Failover Controller。在实际生产中,我们有时会碰到一个情况,你不小心删掉了某个NameNode节点上的所有角色包括NameNode,JournalNode和Failover Controller,或者你不小心通过Cloudera Manager直接从主机管理列表里移除了该NameNode节点,然后你想再把这个节点加回去的时候,发现无论如何HDFS服务都没办法正常使用了。本原创 2020-06-05 14:38:17 · 448 阅读 · 0 评论 -
IDEA中Spark读写Hive测试
1.将集群上的hive-site.xml文件拷贝到maven工程的resource目录下并新增下面代码即可<property> <name>hive.metastore.uris</name> <value>thrift://hadoop000:9083</value></property>参...原创 2020-03-18 10:21:24 · 1363 阅读 · 0 评论 -
Hive 查询
目录基本查询(Select…From)1.全表和特定列查询2.列别名3.算术运算符4.常用函数5.Limit 语句Where 语句 比较运算符(Between/In/ Is Null ) Like 和 和 RLike 逻辑运算符(And/Or/Not )分组1.Group By 语句2.Having 语句...原创 2019-04-30 16:28:20 · 183 阅读 · 0 评论 -
Hive DML数据操作
目录数据导入1.向表中装载数据(Load )2.通过查询语句向表中插入数据(Insert )3.查询语句中创建表并加载数据(As Select )4.创建表时通过 Location 指定加载数据路径5.Import 数据到指定 Hive 表中数据导出1.Insert 导出2.Hadoop 命令导出到本地或者DHFS3.Hive Shell 命令导...原创 2019-04-30 15:00:26 · 191 阅读 · 0 评论 -
Hive hiveserver2
启动在/usr/local/BigDataApp/hive1.2.1/bin目录下的hiveserver2然后在Xshell下重新打开同一台机器,或者打开另外一台有hive的机器同样进入/usr/local/BigDataApp/hive1.2.1/bin目录下面,启动beeline开始连接mysqlbeeline> !connect jdbc:hive2://m...原创 2019-04-29 21:08:18 · 250 阅读 · 0 评论 -
Hive DDL数据定义
目录创建数据库修改数据库查询数据库删除数据库创建表管理表外部表内部表与外部表的相互转换分区表分区表注意事项修改表删除表创建数据库1)创建一个数据库,数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2)避免...原创 2019-04-29 17:09:47 · 242 阅读 · 0 评论 -
Hive 数据类型
基本数据类型对于 Hive 的 String 类型相当于数据库的 varchar 类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储 2GB 的字符数集合数据类型Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中的 Array 和 Map 类似,而 STRUCT 与 C 语言中的 S...原创 2019-04-29 15:57:43 · 167 阅读 · 0 评论 -
Hive 常用交互命令、基本属性配置
hive -help查看交互命令:工作中用的最多的是 -e -f1)“-e”不进入 hive 的交互窗口执行 sql 语句hive -e "select id from student;"2)“-f”执行脚本中 sql 语句(1)在/opt/module/datas 目录下创建 hivef.sql 文件 touch hivef.sql ...原创 2019-04-29 15:25:12 · 273 阅读 · 0 评论 -
HIVE实战一
需求分析:统计视频网站的常规指标,各种TopN指标:--统计视频观看数Top10--统计视频类别热度Top10--统计视频归观看数Top20所属类别--统计视频观看数Top50所关联视频的所属类别Rank--统计每个类别中的视频热度Top10--统计每个类别中视频流量Top--统计上传视频最多的用户Top10以及他们上传的视频--统计每个类别视频观看数Top10...原创 2019-04-29 10:02:03 · 475 阅读 · 0 评论 -
hive详解——函数查看与使用、自定义函数
系统内置函数查看有哪些函数:show functions;结果:查看某函数的解释:desc function upper;结果:查看某函数的解释以及示例:desc function extended upper;结果:自定义函数1)Hive 自带了一些函数,比如:max/min 等,但是数量有限,自己可以通过自定义 UDF来方便的扩展...原创 2019-04-18 11:15:15 · 9254 阅读 · 0 评论 -
hive详解——RANK()、DENSE_RANK()、ROW_NUMBER()
概念RANK():排序相同时会重复,总数不会变。DENSE_RANK():排序相同时会重复,总数会减少.ROW_NUMBER():会根据顺序排算。实操讲解现在有一张score表做查询操作:SELECT *, RANK () over ( PARTITION BY SUBJECT ORDER BY score DESC ) AS RANK, DE...原创 2019-04-18 10:34:25 · 2188 阅读 · 1 评论 -
Hive详解——distribute by、cluster by的实际测试
1.基本测试一set mapred.reduce.tasks=-1;set mapreduce.job.reduces=-1;hive (hive_db)> insert overwrite local directory '/root/distribute_result1' > select merid,money,name from st...原创 2019-04-10 17:30:45 · 1959 阅读 · 0 评论 -
Hive简介与配置安装
1.1 什么是 HiveHive:由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。本质是:将 HQL 转化成 MapReduce 程序1)Hive 处理的数据存储在 HDFS2)Hive 分析数据底层的实现是 MapReduce3)执行程序运行在 Ya...原创 2019-04-04 10:40:52 · 220 阅读 · 0 评论