- 博客(4)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 hive动态分区使用(如非必须，不建议使用)
往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去执行，效率低。hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。一、单一分区字段动态分区表的创建与数据插入1、建表drop table if exists tmp.tmp_user_push_dynamic_partition;C...
2019-10-16 18:52:51
3021
原创 Hive切换计算引擎
1、默认计算引擎mrset hive.execution.engine=mr;2、spark计算引擎set hive.execution.engine=spark;set spark.executor.cores=2;set spark.executor.memory=10G;set spark.executor.instances=10;set hive.mapred.m...
2019-10-16 13:23:02
3694
原创 Hive的数据存储格式
Hive支持的存储格式有： Text File SequenceFile RCFile Avro Files ORC Files Parquet注：Hive默认的格式为Text File，可以通过set hive.default.fileformat查看。hive支持在创建表的时候对数据进行压缩，配置如下：设置开启压缩：set hive.exec...
2019-10-10 17:53:04
710
原创 Hadoop集群间distcp数据同步小记
1、本地hdfs文件查看hadoop dfs -ls /usr/hive/warehouse/dwf.db/dwf_user_kuanbiao_full_1d/dt=2019-09-21hadoop dfs -ls /usr/hive/warehouse/dwf.db/hadoop dfs -ls /usr/hive/warehouse/dwf.db/dwf_user_kuanbiao_...
2019-10-08 10:56:06
1508
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人