导入HDFS的数据到Hive

最新推荐文章于 2024-04-24 09:51:49 发布
最新推荐文章于 2024-04-24 09:51:49 发布
阅读量224 收藏
点赞数
文章标签： 大数据 数据库 json
原文链接：https://yq.aliyun.com/articles/372787
版权

1. 通过Hive view

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
CREATE EXTERNAL TABLE  if  not exists finance.json_serde_optd_table (
   retCode string,
   retMsg string,
   data array<struct< secid:string,= ""  tradedate:date,= ""  optid:string,= ""  ticker:string,= ""  secshortname:string,= ""  exchangecd:string,= ""  presettleprice: double ,= ""  precloseprice: double ,= ""  openprice: double ,= ""  highestprice: double ,= ""  lowestprice: double ,= ""  closeprice: double ,= ""  settlprice: double ,= ""  turnovervol: double ,= ""  turnovervalue: double ,= ""  openint: int = "" >>)
ROW FORMAT SERDE  'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION  'hdfs://wdp.xxxxx.cn:8020/nifi/finance1/optd/' ;
create table  if  not exists finance.tb_optd
as
SELECT b.data.secID,
         b.data.tradeDate,
         b.data.optID,
         b.data.ticker,
         b.data.secShortName,
         b.data.exchangeCD,
         b.data.preSettlePrice,
         b.data.preClosePrice,
         b.data.openPrice,
         b.data.highestPrice,
         b.data.lowestPrice,
         b.data.closePrice,
         b.data.settlPrice,
         b.data.turnoverVol,
         b.data.turnoverValue,
         b.data.openInt
FROM finance.json_serde_optd_table LATERAL VIEW explode(json_serde_optd_table.data) b AS data;
1
  

2. 通过Zeppelin

 

1
2
%dep
z.load( "/usr/hdp/2.4.2.0-258/hive-hcatalog/share/hcatalog/hive-hcatalog-core.jar" );

 

1
2
3
4
// 定义导入的hive对象集合
 
case  class  HiveConfig(database: String, modelName: String, hdfsPath: String, schema: String, schema_tb: String);
var hiveConfigList = List[HiveConfig]();
1
  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
// 创建equd数据结构
// 定义json结构
val schema_json_equd_serde = "" "  retCode string,
                               retMsg string,
                               data array<struct< secid= ""  := ""  string,= ""  tradedate= ""  date,= ""  ticker= ""  secshortname= ""  exchangecd= ""  precloseprice= ""  double ,= ""  actprecloseprice:= ""  openprice= ""  highestprice= ""  lowestprice= ""  closeprice= ""  turnovervol= ""  turnovervalue= ""  dealamount= ""  int ,= ""  turnoverrate= ""  accumadjfactor= ""  negmarketvalue= ""  marketvalue= ""  pe= ""  pe1= ""  pb= ""  isopen= ""  int = "" >> "" ";
var schema_equd = "" "b.data.secID,
                     b.data.ticker,
                     b.data.secShortName,
                     b.data.exchangeCD,
                     b.data.tradeDate,
                     b.data.preClosePrice,
                     b.data.actPreClosePrice,
                     b.data.openPrice,
                     b.data.highestPrice,
                     b.data.lowestPrice,
                     b.data.closePrice,
                     b.data.turnoverVol,
                     b.data.turnoverValue,
                     b.data.dealAmount,
                     b.data.turnoverRate,
                     b.data.accumAdjFactor,
                     b.data.negMarketValue,
                     b.data.marketValue,
                     b.data.PE,
                     b.data.PE1,
                     b.data.PB,
                     b.data.isOpen "" ";
hiveConfigList  = hiveConfigList :+ HiveConfig( "finance" ,  "equd" ,  "hdfs://wdp.xxxxx.cn:8020/nifi/finance1/" , schema_json_equd_serde, schema_equd);

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
// 创建idxd数据结构
// 定义json结构
val schema_json_idxd_serde = "" "  retCode string,
                               retMsg string,
                               data array<struct< indexid:string,= ""  tradedate:date,= ""  ticker:string,= ""  porgfullname:string,= ""  secshortname:string,= ""  exchangecd:string,= ""  precloseindex: double ,= ""  openindex: double ,= ""  lowestindex: double ,= ""  highestindex: double ,= ""  closeindex: double ,= ""  turnovervol: double ,= ""  turnovervalue: double ,= ""  chg: double ,= ""  chgpct: double = "" >> "" ";
var schema_idxd = "" "b.data.indexID,
                     b.data.tradeDate,
                     b.data.ticker,
                     b.data.porgFullName,
                     b.data.secShortName,
                     b.data.exchangeCD,
                     b.data.preCloseIndex,
                     b.data.openIndex,
                     b.data.lowestIndex,
                     b.data.highestIndex,
                     b.data.closeIndex,
                     b.data.turnoverVol,
                     b.data.turnoverValue,
                     b.data.CHG,
                     b.data.CHGPct "" ";
hiveConfigList = hiveConfigList :+ HiveConfig( "finance" ,  "idxd" ,  "hdfs://wdp.xxxxx.cn:8020/nifi/finance1/" , schema_json_idxd_serde, schema_idxd);

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
// 循环加载数据中
   def loadDataToHive(args:HiveConfig){
     val loadPath = args.hdfsPath + args.modelName;
     val tb_json_serde =  "json_serde_"  + args.modelName + "_table" ;
     val tb=  "tb_"  + args.modelName;
     val hiveContext =  new  org.apache.spark.sql.hive.HiveContext(sc)
     if (args.database !=  ""  && args.schema !=  "" ) {
         print( "正在创建项目..."  + args.modelName)
         hiveContext.sql( "CREATE DATABASE IF NOT EXISTS "  + args.database);
         print( "正在构造扩展模型..." );
         hiveContext.sql( "CREATE TABLE IF NOT EXISTS "  + args.database +  "."  + tb_json_serde +  "("  + args.schema +  ") row format serde 'org.apache.hive.hcatalog.data.JsonSerDe' LOCATION "  +  "'"  + loadPath +  "/'" );
         println( "CREATE TABLE IF NOT EXISTS "  + args.database +  "."  + tb +  " as select "  + args.schema_tb +  " from "  + args.database +  "."  + tb_json_serde +  " LATERAL VIEW explode("  + tb_json_serde +  ".data) b AS data" );
         hiveContext.sql( "CREATE TABLE IF NOT EXISTS "  + args.database +  "."  + tb +  " as select "  + args.schema_tb +  " from "  + args.database +  "."  + tb_json_serde +  " LATERAL VIEW explode("  + tb_json_serde +  ".data) b AS data" );
         println(args.modelName +  " 扩展模型加载已完成!" );
     }
   }
   hiveConfigList.size;
   hiveConfigList.foreach { x => loadDataToHive(x) };

 

 3. 第二种取法

由于data是json数据里的一个数组，所以上面的转换复杂了一点。下面这种方法是先把json里data数组取出来放到hdfs，然后直接用下面的语句放到hive：

用splitjson 来提取、分隔 data 数组

NewImage

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
CREATE EXTERNAL TABLE  if  not exists finance.awen_optd (
   secid string,
   tradedate date,
   optid string,
   ticker string,
   secshortname string,
   exchangecd string,
   presettleprice  double ,
   precloseprice  double ,
   openprice  double ,
   highestprice  double ,
   lowestprice  double ,
   closeprice  double ,
   settlprice  double ,
   turnovervol  double ,
   turnovervalue  double ,
   openint  int )
ROW FORMAT SERDE  'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION  'hdfs://wdp.xxxx.cn:8020/nifi/finance2/optd/' ;

 

 本文转自疯吻IT博客园博客，原文链接：http://www.cnblogs.com/fengwenit/p/5631455.html，如需转载请自行联系原作者


weixin_33896069
关注
从HDFS中向hive数据仓库分区中上传数据
lljazxx的博客
10-31 744
从HDFS中向hive数据仓库分区中上传数据 从HDFS中向hive数据仓库中上传数据（分区，按年月日） 文件格式： 年-月-日 最后有配套的分区表的创建 shell代码： #!/bin/bash #创建全局对象，供后面使用 action=""; #获取该路径下所有的文件 然后进行遍历 得到文件的路径 for file in /root/AccountRegister/* do #获取文件...
hdfs导入hive
bwf317的博客
06-22 654
从hdfs导入数据到hive表中（脚本） 脚本存于/opt/data/loginit/1doit19_datayi/shells -- app入库脚本开发 #!/bin/bash ###################################### # # @author : bao # @date : 2021-01-11 # @desc : app端埋点日志入库 # @other ####################################
把HDFS上的数据导入到Hive中
weixin_34289454的博客
11-16 2112
1. 首先下载测试数据，数据也可以创建 http://files.grouplens.org/datasets/movielens/ml-latest-small.zip 2. 数据类型与字段名称 movies.csv（电影元数据） movieId,title,genres ratings.csv（用户打分数据） userId,movieId,rating,tim...
将hdfs的数据导入hive
weixin_43015677的博客
07-08 1182
#!/bin/bash startHive(){ source /etc/profile source /etc/bashrc APP_HOME=/usr/local/dataAnalysis/ CLASSPATH=${APP_HOME}/configig:/etc/hadoop/config:$APP_HOME/bin:$APP_HOME/dayReport-1.0.1-SNAPSHOT.ja...
sqoop导入hdfs数据到hive
07-15
以下是使用Sqoop导入HDFS数据到Hive的一般步骤： 1. 确保您已经安装并配置好了Sqoop和Hive。 2. 在终端中使用以下命令执行Sqoop导入操作： ``` sqoop import \ --connect jdbc:mysql://mysql_host:port/...
Hive建表（一） 建表语法和导入hdfs数据
zp17834994071的博客
06-09 4535
为什么要用Hive? 前面我用MapReduce端join操作两张表，大家也看到很麻烦，而现在有一个工具可以不用那么麻烦的去写MapReduce程序了，只需要用Hive就可以照样显示需要的结果。 Hive是基于Hadoop的一个数据仓库工具；它是MapReduce的一个封装，底层就是MapReduce程序； Hive可以将结构化的数据文件（按照各字段分类的数据）映射成一张虚表，并提供类SQL查询功能； 有了Hive后我们就不用再写麻烦的MapReduce程序了。 说白了Hive的本质是把SQL语句转
Java将hive数据导入到hdfs_sqoop数据导入到Hdfs 或者hive
weixin_35888603的博客
02-26 177
准备一张表需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下bin/sqoop import \--connect jdbc:mysql://172.16.71.27:3306/babasport \--user...
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
在本主题中，我们将深入探讨 Sqoop 的导入功能，特别是如何将数据从 MySQL 和 Sybase 数据库导入到 HDFS，并进一步加载到 Hive 表中。 ### 一、Sqoop 导入介绍 1. **语法结构**： Sqoop 导入数据的基本语法如下：...
两种方法把数据导入到Hive
最新发布
个人博客地址为https://elikgrade.gitee.io/
04-24 2088
本地数据导入到hdfs,hdfs数据导入到hive
hadoop系列五 ——hive操作
heartless_killer的博客
10-13 757
创建库 hive中有一个默认的库： 库名： default 库目录：hdfs://hdp20-01:9000/user/hive/warehouse 新建库： create database databaseName; 库建好后，在hdfs中会生成一个库目录： hdfs://hdp20-01:9000/user/hive/warehouse/db_order.db 展示所有库的名字： show d...
【Hive】创建Hive表格，从HDFS中加载数据
懂得一千零一种,赋予你失败的方法！
12-25 8105
文章目录一、创建Hive基础表二、上传HDFS数据集三、Hive表加载数据集 一、创建Hive基础表 CREATE DATABASE IF NOT EXISTS test; USE test; CREATE EXTERNAL TABLE student ( name STRING, age INT, gpa string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' S.
ClickHouse版行转列，列转行PK Hive
start_hadoop的博客
05-23 3619
– 行转列，列转行 一： hive版本 孙悟空 白羊座 A 大海 射手座 A 宋宋 白羊座 B 猪八戒 白羊座 A 凤姐 射手座 A 苍老师 白羊座 B 结果如下： 射手座,A 大海|凤姐 白羊座,A 孙悟空|猪八戒 白羊座,B 宋宋|苍老师 SELECT t1.c_b , CONCAT_WS("|",collect_set(t1.name)) FROM ( SELECT NAME ,CONCAT_WS(’,’,constellatio
把hive中的数据导入到hdfs或者本地文件的方式
梁小明的博客
10-20 8731
把hive中的数据导入到hdfs或者本地文件的方式 1、通过insert...directory方式导出数据到本地文件 insert overwrite local directory '/opt/datas/hive/exp_hive' select * from emp ; insert overwrite local directory '/opt/datas/hive/exp_
Hive导入hdfs数据(2)
chy2z的专栏
07-11 1807
上一遍Hive导入hdfs数据中存在1个问题，导入文件后，文件路径会被移动，如果不想移动文件怎么办？准备文件 E:\hive\hdfs2.txt存储到hdfs中hive创建外部表hive&gt; create external table if not exists hdfs2(id STRING, name STRING). . &gt; row format delimited fields ...
将数据导入hive，将数据从hive导出
01-04 1266
一：将数据导入hive（六种方式） 1.从本地导入 　　load data local inpath 'file_path' into table tbname; 　　用于一般的场景。 　　   2.从hdfs上导入数据 　　load data inpath ‘hafd_file_path’ into table tbname; 　　使用与大数据的存储   3.load方式的覆
将HDFS中的文件映射为Hive中的表
猪老大唯一官方认证
01-15 1万+
上一篇文章中已经将服务器本地文件上传到HDFS指定文件夹中，现在要将文件中的内容存入Hive对应的表中，步骤如下。 su hive //切换到hive用户 create table test_hdfs_to_hive (id string, tel_num string,name string) ROW FORMAT DELIMITED FIELDS
hdfs数据到hive中，以及hdfs数据隐身理解
weixin_34018169的博客
08-08 311
hdfs数据到hive中： 假设hdfs中已存在好了数据,路径是hdfs:/localhost:9000/user/user_w/hive_g2park/user_center_enterprise_info/* 1.提前(在hive中)准备好表， user_center_enterprise_info2 ，用于接收hdfs数据。 CREATE TABLE user_center_ent...
hive ,从hdfs把数据文件load导入到表
热门推荐
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-27 2万+
hive> load data inpath 'hdfs://ns1/abc/sales_info/hello/sales_info.txt' overwrite into table sales_info partition(dt = '2019-04-26'); 1 原数据文件（已经不存在了，是从原路径移动到了新路径下）： 如果从本地导入后本地的原数据文件依然存在，相当于复制过去；...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值