spark
独孤飞磊
毕业于长安大学,拥有多年的互联网工作经验。现致力于大数据运维及Java后端开发。
展开
-
hive建表
create table person(id int,name string,hobbies array<string>,address map<string,string>)partitioned by (spark_load_date STRING) 分区字段row format delimitedfields terminated by ',' 字段之间分隔符collection items te原创 2021-04-29 16:15:54 · 180 阅读 · 0 评论 -
spark中load数据
1、从本地load(适用于textfile表)load data local inpath '/home/hadoop/cData.txt' overwrite into table dm_user_info partition ( spark_load_date = '20190312');2、从hdfs中load(适用于carbondata表)load data inpath '/home/hadoop/cData.txt' overwrite into table dm_user_info p原创 2021-04-29 16:05:38 · 1129 阅读 · 0 评论 -
beeline查询表数据导出到本地csv文件以及将本地csv文件数据导入表中
beeline查询表数据导出到本地csv文件beeline -u jdbc:hive2://weshare003:10000 -d org.apache.hive.jdbc.HiveDriver --outputformat=csv2 -e "select * from dm_cf_test.dm_user_info limit 1" > fl.csv将本地csv文件数据导入表中进入...原创 2020-01-08 17:45:18 · 2755 阅读 · 0 评论