![](https://img-blog.csdnimg.cn/20190918140129601.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hive
hive
王一1995
不想介绍
展开
-
[hive报错] 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
代码】[hive报错]找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster。原创 2022-07-20 11:27:33 · 897 阅读 · 0 评论 -
[SQL]hive sql数据中间的缺少的值进行填充数据
目录1.问题2.建表、添加数据,因为给的表有两张,所以建了两张表3.两张表 union all,得到一张全量表,最终处理逻辑只用这张表4.主要逻辑4.1 使用窗口函数进行排序,主要目的是每行都复制为1;利用toA是否为 '' 进行标记并复制0或1(flag),然后累加flag标记,和值sumValue会是1,2,3...4.2 可见sumValue是顺序的1,2,3... 这样将最开始的test0112表中的值提出来标记成sumFlag,单独排序4.3 其实就这一条sql是主要的:将 4.1 和 4.2的结原创 2022-01-12 21:04:28 · 4375 阅读 · 1 评论 -
hsql的抽样查询
目录rank()函数和字段名:数据块抽样分桶表的输入裁剪rank()函数和字段名:rank函数进行抽样返回的随机值发挥不相等的值,非rank函数进行分桶的话,同一语句多次执行的返回结果是相同的。注释:number是字段,numbers是表,表只有一个字段number,数值是1-10select * from numbers TABLESAMPLE(BUCKET 3 OUT OF 10 ON rank()) s;select * from numbers TABLESAMPLE(BUCKET 3 O原创 2021-12-01 18:28:07 · 1477 阅读 · 0 评论 -
hsql的cluster by代替含有sort by的distribute by
distribute by控制map的输出在reduce中是如何划分的。mapreduce job中传输的所有数据都是按照键值对的方式进行组织的,因此hive在将用户的查询语句转换成mapreduce jib时,其必须在内部使用这个功能。例如sql:select s.ymd,s.symbol,s.price_close from stocks s distribute by s.symbolsort by s.symbol asc ,s.ymd asc;等价于select s.ymd,s.s原创 2021-12-01 18:01:41 · 1054 阅读 · 0 评论 -
hsql官网提供创建表的三种方式
官网提供了三种方式:直接建表法CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name data_type [COMMENT col_comment], ... [constraint_specification])] [COMMENT table_comment]原创 2021-12-01 16:38:53 · 1300 阅读 · 0 评论 -
MapReduce on yarn 总结
1.客户端向resource manager申请运行application2.resource返回给client一个jobid和资源的上传路径3.客户端将资源上传到hdfs上(查看输入的目录文件并计算切片FileSplit[],job对象的序列化xml,jar包)4.客户端请求一个容器(多少g多少核)5.resource manager将客户端的请求转化为一个task,放在任务队列(找到一...原创 2019-11-08 22:39:31 · 224 阅读 · 1 评论 -
用hive连接mysql疯狂连接不上
mysql在之前连接spark的时候版本自己发生了改变,需要改回。还有当时百度借鉴的文章:https://blog.csdn.net/aubekpan/article/details/93758340一、如果是root外用户,可能存在权限问题,解决方法如下:在core-site.xml下<property> <name>hadoop.proxyuser....原创 2019-10-26 23:58:54 · 1032 阅读 · 0 评论 -
sql --- 窗口函数
交流qq: 249496272row_number() over()——分组TOPN例子:select id,age,name,sex from ( select id,age,name,sex, row_number() over(partition by sex order by age desc) as rankfrom t_rownumber) tmpwhere rank&l...原创 2019-10-10 22:52:00 · 186 阅读 · 0 评论