数据仓库
lislie_
这个作者很懒,什么都没留下…
展开
-
Excel数据导入hive
Excel导hive: 1. hive建表; 2. 将Excel 导出另存为文本文档(制表符分隔); 3. 上传到Linux上:SecureCRT 可用rz命令; 4. 更改编码格式:文件路径上执行 piconv -f gb2312 -t UTF-8 a.txt > c.txt (解决中文乱码) 5. 导入Hive:hive上执行 load data local inpa...原创 2018-08-14 15:11:40 · 1305 阅读 · 0 评论 -
Hive数据导入Mysql
1.在Hive上查看表的存储路径:show create table tablename2.在hdfs上将路径复制到Linux本地: sudo -u user hadoop fs -get /.../part-00000 /localpath/part-000003.将拷贝下来的数据导入Mysql: mysql -h host -u user -P 3...原创 2018-08-14 15:28:45 · 1535 阅读 · 5 评论 -
将Hive查询的数据导出到本地
1.在Hive上执行: set mapred.reduce.tasks =50; insert overwrite directory '/user/hdfspath/part_0000' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select ...2.将hdfs上的文件拷贝到Linux本地: su...原创 2018-08-14 15:47:44 · 6778 阅读 · 0 评论 -
将hdfs文件加载到hive分区表
shell脚本如下:如果目标表有分区,先清除分区alter table table_name drop partition (dt >= ‘20181211’);#!/bin/bashcu_date=`date +%Y%m%d`begin_date="20181211"while [ "$begin_date" -le "$cu_date" ];do echo "${b...原创 2019-01-11 18:05:27 · 5590 阅读 · 1 评论