![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 77
little沫沫
这个作者很懒,什么都没留下…
展开
-
Postgresql、HiveQL时间日期比较及加减写法
一、postgreSQL ----当前时间 now() >>2018-09-14 16:46:51.103709+08 current_timestamp >>2018-09-14 16:47:58.547305+08----当前日期 current_date >>2018-09-14 ----小于某个固定时间 create_time <...原创 2018-09-14 18:17:40 · 6430 阅读 · 0 评论 -
Hive优化 -- 常用参数设置
Hive调优: 1、内存大小调整 2、增加并发 3、分区 分区设置不合理,分区过多 4、数据倾斜 任务集中在某个reduce -- 开启在map端聚合(1000条记录以下/小于20M) 5、join优化 6、合理控制map和reduce个数 小文件合并 -- 减少map个数,使用distribute by -- 增加map个数, ...原创 2020-10-19 14:12:53 · 760 阅读 · 0 评论 -
Sqoop导入导出Hive示例
Sqoop是连接传统关系型数据库和Hadoop的桥梁。把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中;把数据从 Hadoop 系统里抽取并导出到关系型数据库。利用MapReduce,批处理方式进行数据传输。 本篇文章主要是根据Sqoop导入导出到Hive的实际示例,对Sqoop中的import与export进行简要介绍: ===========...原创 2019-03-08 16:33:02 · 1603 阅读 · 0 评论