花名:白起

科技改变世界,技术改变人生。

hive函数-数学函数 可在特征工程中使用

hive中数据函数可以直接在提取特征中使用,如 均值、方差、最大值、最小值、协方差等,重点关注以下的聚合函数内容。 一、hive函数之数学函数 round(double d)--返回double型d的近似值(四舍五入),返回bigint型; round(double d,int n)--返回保留...

2018-11-05 15:24:41

阅读数:24

评论数:0

hive1.2版本设置队列问题

环境ambari的hadoop集群 使用如下命令设置队列,不生效 set mapreduce.job.queuename=hive; 之后再网上搜索了一下找到原因了,共享给需要的朋友,hive 1.2版本有引擎之说 查看引擎 hive> set hive.executi...

2018-10-11 10:44:32

阅读数:40

评论数:0

使用DBeaver连接hive

介绍 在hive命令行beeline中写一些很长的查询语句不是很方便,查询结果也不是很友好,于是找了一个hive的客户端界面工具DBeaver,它也支持很多符合JDBC连接的数据库,例如MySQL、Oracle等。下载地址:http://dbeaver.jkiss.org/download/ ...

2018-01-03 17:00:07

阅读数:1702

评论数:0

获取hive表最新分区

在对时间要求比较高的流程中,往往会希望获取最新的分区数据。如果采用 select max(分区) as p from table_name; 获取分区,如果表很大时,时间代价很大;另外,如果直接从分区路径判断,虽然速度也会很快,当hive如何数据正在插入更新时被判断,极有可能会出现job还在进行,...

2017-10-17 20:00:02

阅读数:2071

评论数:0

Hive指定查询输出分隔符

业务场景 做数据分析的时候,经常会用到Hive -e "sql" > xxx.txt或者最原始的hive命令行来获得查询结果,然后再将查询结果放到Excel等工具中,但是如果查询的字段太多,这时候将查询结果放到Excel会经常会碰到错位问题,很是头疼. 解决方案一:借...

2017-04-21 14:40:26

阅读数:2025

评论数:0

hadoop跨集群之间迁移hive数据

Hive跨集群迁移数据工作是会出现的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等。 1. 迁移hdfs数据至新集群 hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/ user/risk ...

2017-04-13 11:51:04

阅读数:4907

评论数:6

hive修改表模式

hive用户可以通过alter语句更改table属性 Alter Partitions 增加partitions:     ALTER TABLE table_name              ADD [IF NOT EXISTS]              PARTITION partiti...

2017-03-30 17:02:22

阅读数:198

评论数:0

hive update报错Attempt to do update or delete using transaction manager

hive安装后需要修改已建的表及查询操作,在执行修改操作时遇到了如下问题。 hive> update dp set name='beijing' where id=1159; FAILED: SemanticException [Error 10294]: Attempt to do...

2017-03-27 13:54:33

阅读数:3078

评论数:0

hive语句 partition(dt=substr('2016-12-01',1,7))取分区问题

今天帮助一个朋友排查hive语句的问题,如下: insert overwrite table database.table partition(dt=substr('2016-12-01',1,7)) select substr('2016-12-01',1,7) as month,... ...

2017-01-18 15:26:07

阅读数:3039

评论数:0

hiveserver2服务异常停止java.lang.OutOfMemoryError: Java heap space

2017-01-02 15:34:04,461 WARN  [IPC Client (188363230) connection to nn01/192.168.1.4:8020 from hive]: ipc.Client (Client.java:run(955)) - Unexpected ...

2017-01-03 10:52:38

阅读数:3331

评论数:0

hive metastore日志中报错message:Metastore contains multiple versions

hive metastore日志中报错: Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.h...

2016-12-29 15:15:03

阅读数:1073

评论数:0

让Hive简单的查询不启用Mapreduce而启用Fetch task本地运行

查询某个表的某一列,Hive默认是会启用MapReduce来完成这个任务,如下: hive> SELECT uid, number FROM test limit 9; Total MapReduce CPU Time Spent: 2 seconds 320 msec OK 1  ...

2016-09-23 14:00:16

阅读数:767

评论数:0

hive创建表时COMMENT带中文报错问题处理

环境:CDH 5.5.1 hive创建表时带有中文就报错,如下: CREATE TABLE IF NOT EXISTS test(pid bigint COMMENT '测试id',fid int COMMENT 'luntanid')COMMT 'zhuti' ROW FORMAT DELIM...

2016-06-12 14:45:52

阅读数:5037

评论数:0

搭建HIVE数据仓库导入带有中文的HQL及查看表数据时遇到的乱码问题

1、在搭建hive数据仓库完成后,desc 表名 字段描述乱码 以及导入带有中文HQL时报错 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(...

2016-06-02 17:28:05

阅读数:1299

评论数:0

hive报错Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE)

业务发现跑hive任务总是一次成功,第二次无法找到库,需要重新进行hive,查看HiveMetaStore日志报错: 2016-05-11 11:30:32,912 ERROR [pool-3-thread-178]: metastore.RetryingHMSHandler (Retryi...

2016-05-12 11:23:47

阅读数:2750

评论数:0

hive开启严格模式

hive提供了一个严格模式,可以防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格 模式下无法执行。通过设置hive.mapred.mode的值为strict,可禁止3中类型的查询。 1)带有分区的表的查询 如果在一个分区表执行hive,除非where语句中包含分区字段...

2016-05-10 12:52:28

阅读数:1772

评论数:0

Hive配置文件中配置项的含义详解(收藏版)

hive的配置: hive.ddl.output.format:hive的ddl语句的输出格式,默认是text,纯文本,还有json格式,这个是0.90以后才出的新配置; hive.exec.script.wrapper:hive调用脚本时的包装器,默认是null,如果设置为pytho...

2016-05-10 10:31:47

阅读数:743

评论数:0

hive0.14操作库、表 特别慢,报错,卡顿

hive操作特别慢,报错,卡顿 现象: 查看所有库拨错 hive> show databases; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaExcept...

2016-04-13 14:30:39

阅读数:1578

评论数:0

Hadoop监控页面查看Hive的完整SQL

想看看执行的hive job提交了什么语句,有没有方法从hadoop job监控页面查看? 方法如下,这里看到简单的一段SQL,几乎看不出具体在执行什么任务。 1、点开一个application,点击Tracking URL: ApplicationMaster 或者 History(历史任...

2016-04-13 14:30:00

阅读数:3618

评论数:1

hive job 提示Invalid sync和 无法分配内存 报错处理

近期发现分析部门同事告知,hive处理原始数据的时候总是不能执行完成,报错如下,这个问题是avro的文件不完整: Diagnostic Messages for this Task: Error: java.io.IOException: java.io.IOException: org.apac...

2016-04-13 14:27:55

阅读数:1084

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭