- 博客(6)
- 收藏
- 关注
转载 2021-03-02
本文章转自:https://www.cnblogs.com/importbigdata/p/12215461.htmlHive优化的十大方法Hive用的好,才能从数据中挖掘出更多的信息来。用过hive的朋友,我想或多或少都有类似的经历:一天下来,没跑几次hive,就到下班时间了。Hive在极大数据或者数据不平衡等情况下,表现往往一般,因此也出现了presto、spark-sql等替代品。这里重点讲解hive的优化方式,例如优化分组:set hive.auto.convert.join=true;优化
2021-03-02 17:03:51 151
原创 oracle 数据库存储过程编译报错PLS-00103出现符号 end-of-file在需要下列之一时问题
场景描述:1.kettle执行报表跑批任务2.需要给kettle增加依赖,等核心跑完后在执行报表的加工逻辑核心代码如下:declare V_BEGIN VARCHAR2(30); V_END VARCHAR2(30); V_DATE_EMP VARCHAR2(30); V_FLAG VARCHAR2(30); V_FLAG1 VARCHAR2(30); V_DAY VARCHAR2(30);begin V_BEGIN := 'N'; V
2021-02-07 10:29:34 11925 1
转载 Hive存储格式跟压缩对比
Hive存储格式跟压缩对比Hellooorld 2019-06-01 13:46:39 1182 收藏 3分类专栏: bigdata版权存储:1 TextFile2 SequenceFile3 RCFile4 OrcFile5 Parquet6 Avro6种性能测试textfile默认格式;存储方式为行存储;磁盘开销大 数据解析开销大;但使用这种方式,hive不会对数据进行切分,从而无法对数据进行并行操作。SequenceFile二进
2021-01-28 09:21:30 653
原创 hadoop动态分区错[Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions
错误:Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and h
2021-01-26 17:41:29 1056 1
原创 Hive中表的创建
*一、Hive支持的数据类型:二、Hive内部表与外部表介绍:1.在hive中表的类型:托管表(外部表)——EXTERNAL。删除表时不会删除在hdfs中的数据,只会删除元数据一般自己指定目录位置管理表——默认默认存储在/user/hive/warehouse下,也可以自己指定删除表时,会删除表数据以及元数据2.建表语句:1. CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name[(c
2021-01-26 17:39:52 253
原创 Hive基本操作介绍
Hive基本操作:1.hive登录:1).远程登录:beeline:支持嵌入模式(embedded mode)和远程模式(remote mode)。在嵌入式模式下,运行嵌入式的Hive(类似Hive CLI),而远程模式可以通过Thrift连接到独立的HiveServer2进程上,要与HiveServer2配合使用,服务端启动hiveserver2 ,客户的通过beeline两种方式连接到hive:beeline -u jdbc:hive2://localhost:10000/default -n r
2021-01-25 15:28:06 2552
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人