- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 跨集群hive批量建表
【需求】 在集群A建表，要同步在集群B建表、修复历史分区。表用到的数据源在云上。 【注意】hive -f时涉及的HDFS操作权限问题 A集群有9个表要同步到B集群 [hive@bigdata-master-1 ~]$ vim tables_ToBeCreated_onOtherCluster # 9个表是： [hive@bigdata-master-1 ~]$ cat tables_To...
2018-08-31 21:24:49
1515
原创 如何将Hive仓库中的查询结果导出到本地文件
我在hive仓库中有个表，已经使用HQL跑出来结果，存到了hive中。表的schema如下 show create table test_xiaoxiannv.dw_clickadvert_daily; CREATE EXTERNAL TABLE test_xiaoxiannv.dw_clickadvert_daily( id int, ip string, time str...
2018-08-06 11:35:57
4455
原创 Hive常用分区操作命令20180805
环境：hadoop-2.7 , hive 2.1 // 在linux命令行为指定的表，以循环方式插入分区 for d in “4 5”; do hive -e “ALTER TABLE machine_logs.uniform_id ADD IF NOT EXISTS PARTITION (dt=’2018-08-0$d’)”;echo —— ; done Logging initializ...
2018-08-05 17:14:16
1319
原创 yarn中MR作业报错Java heap space
提交到yarn框架计算的作业报错 //0，报错内容 我们hadoop-2.7集群用的执行引擎不是Tez，而是mr(是老集群) Error: Java heap space Container killed by the ApplicationMaster. //1，查找报错日志 [root@ my-hadoop-cluster hive]# grep -C 3 –color “log....
2018-08-05 15:57:34
3267
[案例]从冷备份的hdfs数据中恢复到原来的hbase表
2018-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人