hive
风是外衣衣衣
这个作者很懒,什么都没留下…
展开
-
MYSQL/HiveSQL left join练习
1.数据-- ------------------------------ Records of table_1-- ----------------------------INSERT INTO `table_1` VALUES ('1');INSERT INTO `table_1` VALUES ('2');INSERT INTO `table_1` VALUES ('3');-- ------------------------------ Table structure for原创 2021-07-01 19:18:18 · 419 阅读 · 0 评论 -
创建hive表时(分区表、内外表都适用),遇到双符号的切分符怎么办,比如:||
两个字段的例子# 1. 建表create EXTERNAL table b(id double,name string)PARTITIONED BY (ds STRING) row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe'with serdeproperties('input.regex'='(.*)\\|\\|(.*)','output.format.string'='%1$s %2$s %3$s')stor.原创 2020-07-02 01:05:40 · 345 阅读 · 2 评论 -
postgres数据库中获取当前日期、周几,还有列转行和hive中获取当前日期、string转成map、列转行的代码
--postgresSQL写法 需求都是同一roadid下,求每15分钟的均速km/h create table if not exists avg_speed_week_day0 as ( select c.roadid,c.week_day, max(case when cast(btrim(c.times,'h')as int) = 000 then c.avg_sp...原创 2020-03-27 10:50:21 · 330 阅读 · 0 评论 -
(hiveSQL语句写对了,就是执行不对)用Notepad++写hiveSQL语句遇到的怪事!!Display all 444 possibilities? (y or n)
今天可算是碰到怪事了,一句简单的SQL死活就是运行不对,最后发现是Notepad++在作怪!如上图,同一条sql,在自己粘贴复制到shell命令中的时候会报错,或者这种错原因:我是直接双击sql语句过来的 (如下图,直接在Notepad++中双击SQL语句复制的),应该是复制到空格、换行之类的东西了!!!解决:不要双击复制了,从sql的开始到结束手动...原创 2019-09-27 18:04:00 · 777 阅读 · 1 评论 -
Hive--行转列(Lateral View explode())和列转行(collect_set() 去重)
一行转多行说明:lateral view用于和split、explode等UDTF一起使用的,能将一行数据拆分成多行数据,在此基础上可以对拆分的数据进行聚合,lateral view首先为原始表的每行调用UDTF,UDTF会把一行拆分成一行或者多行,lateral view在把结果组合,产生一个支持别名表的虚拟表。1.行转列1.1 问题引入:如何将a b...转载 2019-08-09 09:39:15 · 459 阅读 · 0 评论 -
(授人以鱼不如授人以渔)mysql-connector-java各种版本下载地址
原文:https://blog.csdn.net/Milan__Kundera/article/details/81182757mysql-connector-java下载地址:http://mvnrepository.com/artifact/mysql/mysql-connector-java选择自己的版本:然后再点击...原创 2019-02-19 17:14:01 · 98144 阅读 · 33 评论 -
使用case when,union all实现sql行转列、列转行
转自:https://blog.csdn.net/weixin_38653290/article/details/85488532今天分享下使用case when,union all实现sql行转列、列转行-- 建表 CREATE TABLE StudentScores ( UserName NVARCHAR(20), -- 学生姓名 Subject NVARCHAR(30), -...转载 2019-01-02 17:00:51 · 839 阅读 · 0 评论 -
HQL的列转行和行转列
转自:https://blog.csdn.net/weixin_38653290/article/details/84639754列转行测试数据hive> select * from col_lie limit 10; OK col_lie.user_id col_lie.order_id 104399 1715131 104399 2105395 104399 17...转载 2019-01-02 16:45:32 · 1673 阅读 · 1 评论 -
hive之group by详解
有部分是转自:https://blog.csdn.net/lzm1340458776/article/details/43230517hive distribute by 和group by 的区别:group by是对检索结果的保留行进行单纯分组,一般总爱和聚合函数一块用例如AVG(),COUNT(),max(),main()等一块用。 group by操作表示按照某些字段的值进行分组,有相同的...原创 2018-05-10 11:24:22 · 50359 阅读 · 2 评论 -
hive之order by详解
转自:https://blog.csdn.net/lzm1340458776/article/details/43230517Order by表示按照某些字段排序,语法如下:[java] view plain copyselect col,col2... from tableName where condition order by col1,col2 [asc|desc] 注意:(1):...转载 2018-05-10 11:26:01 · 14038 阅读 · 0 评论 -
Hive常见的bug与解决办法
转自:https://blog.csdn.net/qq_26442553/article/details/788072111.在hiveserver2客服端操作数据库出错: Error: Error while compiling statement: FAILED: RuntimeException Cannot make directory: hdfs://hadoop102...转载 2018-08-15 17:40:40 · 1213 阅读 · 0 评论 -
启动hive报错Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient这是因为没有启动hive的metastore远程连接<config...原创 2018-08-13 21:52:39 · 4160 阅读 · 0 评论 -
在hive中的模糊查询,删除表,删除不符合条件的数据
1.模糊查询类似:在MYSQL里面我们可以这样的执行SQLselect a.Community,a.PID,b.spidertime,b.comm,b.showings,b.room from lianjia_list a ,RentHouse_lianjia b where a.site = 7 and b.city='北京' and b.comm like %a.Communi...转载 2018-12-27 10:52:19 · 7260 阅读 · 0 评论 -
将hive模糊查询结果写入分区表中
需求:只保留表1中12月27号的数据 其他日期的都不要 然后将结果又放回表1 最开始我是这种思路 : ~设置开启动态分区开关 set hive.exec.dynamic.partition=true; ~严格模式 set hive.exec.dynamic.partition.mode=strict; # strict/nonstrict 默认为...原创 2018-12-27 16:32:17 · 1116 阅读 · 0 评论 -
使用Sqoop从PostgreSQL向Hive中迁移数据遇到的问题
postgreSQL的界面跟mysql不同之处就是,多了一个 2 ,这也是导致数据迁移错误原因1.数据库名称 2.schema 3.表名PostgreSQL中的对象属于三层模型,即database->schema->table。PostgreSQL中一般包含多个database,每个database包含多个schema,schema下包含多个表。因此使用sqoop...原创 2018-12-28 12:01:55 · 813 阅读 · 0 评论 -
spark连接hive的两种方式
在pom中添加依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio...原创 2018-12-18 14:12:38 · 29864 阅读 · 4 评论 -
hive表中的数据全为NULL
那就是你数据分割符不对了,比如说你数据文件是按照\t(也就是TAB键)分割的,但是你创建hive表的时候按照 空格 划分的 create table cxb_hive(id bigint,name string)row format delimited fields terminated by '注意划分符号要与数据源分隔符一致' location '/user/hive/warehouse'...原创 2018-04-19 20:33:50 · 2513 阅读 · 0 评论