Hive
hive学习
一点IT技术
这个作者很懒,什么都没留下…
展开
-
Sqoop同步mysql数据导hive中,--query 参数中,字段有特殊字段、关键字处理方法
Sqoop同步mysql数据导hive中,–query 参数中,字段有特殊字段、关键字处理方法 sqoop import --connect "$jdbcurl" \ --username $username \ --password $password \ --columns "id,name,describe,created_at,updated_at,deleted_at" \ --query "select id,name,\`describe\`,created_at,updated_at,del原创 2021-02-26 14:22:58 · 1415 阅读 · 0 评论 -
sqoop连接mysql问题 Access denied for user ‘root‘@‘hdp3‘ (using password: YES),原因mysql密码特殊字符在sqoop参数中有限制
sqoop连接mysql问题 Access denied for user ‘root’@‘hdp3’ (using password: YES),原因mysql密码特殊字符在sqoop参数中有限制 不适用脚本变量,密码直接写在参数上,并且用单引号 jdbcurl="jdbc:mysql://localhost:3306/web_tmp?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false" username="root" #p原创 2021-02-26 14:12:48 · 906 阅读 · 2 评论 -
hive语句中含有特殊符合$,导致使用hive -e "语句"时,引用不到变量
最近遇到的问题,由于hive语句中字段包含特殊符号,使用反引号来引用字段‘,使用反引号来引用字段`,使用反引号来引用字段‘id` ,没有问题。 但是因为我要在shell里循环多个日期跑,使用hive -e "语句"时,却报错,最后排查是因为hive -e后面接双引号的话,会导致反引号失效,导致shell认为$id是参数。 解决方式:需要用hive -e '语句’来执行,并且将语句中本来判断条件的单引号换为双引号,需要传参的地方,用双引号+单引号参数即"‘参数’"的形式。 ...原创 2020-05-11 10:57:40 · 1669 阅读 · 0 评论 -
Impala与hive语法差别之一count()函数的使用区别
报错信息:AnalysisException: all DISTINCT aggregate functions need to have the same set of parameters as count(DISTINCT user_id) deviating function: count(DISTINCT CASE WHEN status = 1 THEN user_id ELSE NU...原创 2020-04-12 19:10:40 · 1986 阅读 · 0 评论 -
关于HQL使用count()报错的坑
报错信息:AnalysisException: all DISTINCT aggregate functions need to have the same set of parameters as count(DISTINCT user_id) 报错代码如下 select grad_id, count(distinct user_id) as total_users, cou...原创 2020-04-08 22:00:19 · 1782 阅读 · 0 评论 -
Hive查询时不加limit报错
执行sql语句不加limit时报错:Unknown HS2 problem when communicating with Thrift server. Error: org.apache.thrift.transport.TTransportException: java.net.SocketException: 断开的管道 (Write failed) (state=08S01,code=0)...原创 2020-03-09 06:10:41 · 1398 阅读 · 0 评论