![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
万事于足下
这个作者很懒,什么都没留下…
展开
-
hive报错Could not get block locations. Source file “/user/hive/warehouse/xxx
hive报错Could not get block locations. Source file "/user/hive/warehouse/xxx...以及Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Error while processing row (tag=0)...是因为链接超时了设置set mapred.task.timeout=600000;为10分钟或更长即可...原创 2021-12-24 20:44:24 · 3255 阅读 · 0 评论 -
impala运行sql文件无法正确转换为decimal(没有四舍五入)
一次迁移发现,生产和测试的结果不太一样,生产用的impala,测试用hive,同一个值,在转换为decimal(8,2)时,impala没有四舍五入,hive有,查看日志发现impala出现了警告:WARNINGS: UDF WARNING: String to Decimal parse failedUDF WARNING: String to Decimal parse failed查了很久才发现是因为impala配置文件里配置了SET DECIMAL_V2=FALSE;使用hue测试了一下S原创 2021-12-23 11:26:14 · 2768 阅读 · 0 评论 -
sqoop参数和样例
原文:https://zhuanlan.zhihu.com/p/163266351相关参数含义1.数据导入:sqoop import可通过 sqoop import --help 命令查看参数 说明普通参数–connect 指定JDBC连接字符串–connection-manager 指定连接管理器类名–connection-param-file 指定连接参数文件–driver 手动指定要使用的JDBC驱动程序类–hadoop-home 覆盖 $HADOOP_MAPR ED_HOME_AR原创 2021-10-25 19:17:53 · 486 阅读 · 0 评论 -
记录配置HDFS HA后,hive抛错Wrong FS
转自:http://blog.itpub.net/31451369/viewspace-2153698/1.问题:在CDH5.x或者Apache环境下,配置了NameNode的HA后,Hive无正常查询数据了。Hive查询会出现如下异常:FAILED: SemanticException Unable to determine if hdfs://hadoop-01:8020/user/h...转载 2019-01-10 16:24:59 · 920 阅读 · 0 评论 -
压缩与存储格式
压缩压缩是调优的重要的点。另外不一定非要用带split的压缩方式,如果前期做的比较好,每个块都分割成128M(一般是比block块小一点,比如256M就放250M),就可以不用带split的压缩了。文件的存储格式Hive可以支持多种格式,主要有:SEQUENCEFILE,TEXTFILE,RCFILE,ORCPARQUET。其中Hive默认的文件格式是TextFile。设定文件格式的语句...原创 2018-10-07 18:15:17 · 522 阅读 · 0 评论 -
Hadoop和Hive配置压缩
压缩对于大数据来说BIGDATA 就是Storage + Compute(存储和计算)compressed(压缩): raw ==> reduce (原始数据减小)decompressed(解压):compressed data ==> raw (压缩数据变成原来的)好处:整个流程:hdfs ==> map ==&原创 2018-10-02 10:41:43 · 554 阅读 · 0 评论 -
Hive DDL和DML、乱码、hiveserver2/beeline
DDL与SQL语句很类似创建数据库:CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH DBPROPERTIES (property_name=property_value, ...)];创建表:CREA...原创 2018-09-07 10:57:32 · 458 阅读 · 0 评论 -
hive的mapjoin执行流程
普通的joinmapjoin 这两个区别是set hive.auto.convert.join = true;这个参数有没有开,默认为true(默认和使用mapjoin代替join) 在hive里使用explain select * from tablename;可以查看sql语句的执行流程。和上面两张图的过程是对应的。...原创 2018-09-10 12:27:22 · 2515 阅读 · 0 评论 -
Hive自定义的UDF函数
1、编写函数原创 2018-09-09 17:35:07 · 448 阅读 · 0 评论 -
Hive详解与安装
Hive的产生背景1) MR编程不便性 2) 传统RDBMS人员的需要 HDFS上面的文件就是普通的文件,它并没有schema的概念 schema: RDBMS中的表结构 people.txt <== id name age address sql ===> 搞定海量数据的统计分析Hivedistribute...原创 2018-09-07 11:02:16 · 136 阅读 · 0 评论 -
hive元数据的partitions表不存在
再load data的时候,日志报了这样一个错误ERROR [main]: DataNucleus.Datastore (Log4JLogger.java:error(115)) - Error thrown executing ALTER TABLE `PARTITIONS` ADD COLUMN `TBL_ID` BIGINT NULL : Table 'bigdata.partiti...原创 2018-07-01 13:42:10 · 1586 阅读 · 0 评论