hive 中使用avro

最新推荐文章于 2021-07-10 21:25:09 发布
最新推荐文章于 2021-07-10 21:25:09 发布
阅读量512 收藏 1
点赞数
文章标签： 大数据
参考链接： http://my.oschina.net/weiqingbin/blog/194411

创建hive 表时对avro使用snappy压缩：

点击(此处)折叠或打开

  1. hive> set hive.exec.compress.output=true;
  2. hive> set avro.output.codec=snappy;
创建hive表的语句：

点击(此处)折叠或打开

  1. CREATE EXTERNAL TABLE ecc_wj_2
  2.     ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
  3.     STORED AS
  4.     INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
  5.     OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
  6.     LOCATION '/lcz/data'      --hdfs 路径
  7.     TBLPROPERTIES (
  8.         'avro.schema.url'='hdfs:///lcz/device20102.avsc'   --hdfs 路径
  9.     );
avro schema文件：

点击(此处)折叠或打开

  1. {
  2.    "namespace": "com.sany.ecc.model.huaxing",
  3.    "type": "record",
  4.    "name": "Device2010",
  5.    "fields": [
  6.       {
  7.          "name": "ST_PID",
  8.          "type": [
  9.              "string",
  10.              "null"
  11.          ]
  12.       },
  13.       {
  14.          "name": "ST_LOGINID",
  15.          "type": [
  16.              "string",
  17.              "null"
  18.          ]
  19.       },
  20.       {
  21.          "name": "RE_EN_PID",
  22.          "type": [
  23.              "string",
  24.              "null"
  25.          ]
  26.       },
  27.       {
  28.          "name": "ST_LOGINTIME",
  29.          "type": [
  30.          "long",
  31.          "null"
  32.          ]
  33.       },
  34.       {
  35.          "name": "ST_CONNECTTIME",
  36.          "type": [
  37.                   "long",
  38.                   "null"
  39.              ]
  40.       },
  41.       {
  42.          "name": "ST_UPDATETIME",
  43.          "type": [
  44.                    "long",
  45.                    "null"
  46.               ]
  47.       },
  48.       {
  49.          "name": "ST_TOTALWKTIME",
  50.          "type": [
  51.                      "double",
  52.                      "null"
  53.                  ]    
  54.       },
  55.       {
  56.          "name": "ST_WKTIME",
  57.          "type": [
  58.                      "double",
  59.                      "null"
  60.                  ]    
  61.       },
  62.       {
  63.          "name": "ST_RMNTIME",
  64.          "type": [
  65.                     "double",
  66.                     "null"
  67.                  ]
  68.       },
  69.       {
  70.          "name": "ST_BERRORCODE",
  71.          "type": [
  72.                     "int",
  73.                     "null"
  74.                   ]
  75.       },
  76.       {
  77.          "name": "ST_WERRORCODE",
  78.          "type": [
  79.                     "int",
  80.                     "null"
  81.                  ]
  82.       },
  83.       {
  84.          "name": "ST_BALMCODE",
  85.          "type": [
  86.                      "int",
  87.                      "null"
  88.                   ]
  89.       },
  90.       {
  91.          "name": "ST_WALMCODE",
  92.          "type": [
  93.                       "int",
  94.                       "null"
  95.                   ]
  96.       },
  97.       {
  98.          "name": "ST_GPSSTA",
  99.          "type": [
  100.                       "int",
  101.                       "null"
  102.                   ]
  103.       },
  104.       {
  105.          "name": "ST_LONGITUDE",
  106.          "type": [
  107.                        "double",
  108.                        "null"
  109.                   ]
  110.       },
  111.       {
  112.          "name": "ST_LATITUDE",
  113.          "type": [
  114.                         "double",
  115.                         "null"
  116.                     ]
  117.       },
  118.       {
  119.          "name": "ST_ALTITUDE",
  120.          "type": [
  121.                         "double",
  122.                         "null"
  123.                     ]
  124.       },
  125.       {
  126.          "name": "ST_VELOCITY",
  127.          "type": [
  128.                         "double",
  129.                         "null"
  130.                     ]
  131.       },
  132.       {
  133.          "name": "ST_ORIENTATION",
  134.          "type": [
  135.                         "double",
  136.                         "null"
  137.                     ]
  138.       },
  139.       {
  140.          "name": "ST_SATICUNT",
  141.          "type": [
  142.                         "int",
  143.                         "null"
  144.                      ]
  145.       },
  146.       {
  147.          "name": "ST_SGNLQ",
  148.          "type": [
  149.                         "double",
  150.                         "null"
  151.                      ]
  152.       },
  153.       {
  154.          "name": "ST_STEPPOS",
  155.          "type": [
  156.                         "int",
  157.                         "null"
  158.                     ]
  159.       },
  160.       {
  161.          "name": "ST_ENGV",
  162.          "type": [
  163.                "double",
  164.                "null"
  165.               ]
  166.       },
  167.       {
  168.          "name": "ST_OILLEV",
  169.          "type": [
  170.                "double",
  171.                "null"
  172.               ]
  173.       },
  174.       {
  175.          "name": "ST_BATTERYVOL",
  176.          "type": [
  177.                   "double",
  178.                "null"
  179.               ]
  180.       },
  181.       {
  182.          "name": "ST_ERRDEALSTA",
  183.          "type": [
  184.                   "int",
  185.                "null"
  186.               ]
  187.       },
  188.       {
  189.          "name": "ST_CMMCTSCH",
  190.          "type": [
  191.                   "int",
  192.                "null"
  193.               ]
  194.       },
  195.       {
  196.          "name": "ST_UINTRESERV10",
  197.          "type": [
  198.                "int",
  199.                "null"
  200.               ]
  201.       },
  202.       {
  203.          "name": "ST_UINTRESERV11",
  204.          "type": [
  205.                "int",
  206.                "null"
  207.               ]
  208.       },
  209.       {
  210.          "name": "ST_UINTRESERV12",
  211.          "type": [
  212.                "int",
  213.                "null"
  214.               ]
  215.       },
  216.       {
  217.          "name": "ST_UINTRESERV13",
  218.          "type": [
  219.                "int",
  220.                "null"
  221.               ]
  222.       },
  223.       {
  224.          "name": "ST_UINTRESERV14",
  225.          "type": [
  226.                "int",
  227.                "null"
  228.               ]
  229.       },
  230.       {
  231.          "name": "ST_UINTRESERV15",
  232.          "type": [
  233.                "int",
  234.                "null"
  235.               ]
  236.       },
  237.       {
  238.          "name": "ST_UINTRESERV16",
  239.          "type": [
  240.                "int",
  241.                "null"
  242.               ]
  243.       },
  244.       {
  245.          "name": "ST_UINTRESERV17",
  246.          "type": [
  247.                "int",
  248.                "null"
  249.               ]
  250.       },
  251.       {
  252.          "name": "ST_UINTRESERV18",
  253.          "type": [
  254.                "int",
  255.                "null"
  256.               ]
  257.       },
  258.       {
  259.          "name": "ST_UINTRESERV19",
  260.          "type": [
  261.                "int",
  262.                "null"
  263.               ]
  264.       },
  265.       {
  266.          "name": "ST_UINTRESERV20",
  267.          "type": [
  268.                "int",
  269.                "null"
  270.               ]
  271.       },
  272.       {
  273.          "name": "ST_UINTRESERV21",
  274.          "type": [
  275.                "int",
  276.                "null"
  277.               ]
  278.       },
  279.       {
  280.          "name": "ST_UINTRESERV22",
  281.          "type": [
  282.                "int",
  283.                "null"
  284.               ]
  285.       },
  286.       {
  287.          "name": "ST_UINTRESERV23",
  288.          "type": [
  289.                "int",
  290.                "null"
  291.               ]
  292.       },
  293.       {
  294.          "name": "ST_UINTRESERV24",
  295.          "type": [
  296.                "int",
  297.                "null"
  298.               ]
  299.       },
  300.       {
  301.          "name": "ST_UINTRESERV25",
  302.          "type": [
  303.                "int",
  304.                "null"
  305.               ]
  306.       },
  307.       {
  308.          "name": "ST_UINTRESERV26",
  309.          "type": [
  310.                "int",
  311.                "null"
  312.               ]
  313.       },
  314.       {
  315.          "name": "ST_UINTRESERV27",
  316.          "type": [
  317.                "int",
  318.                "null"
  319.               ]
  320.       },
  321.       {
  322.          "name": "ST_UINTRESERV28",
  323.          "type": [
  324.                "int",
  325.                "null"
  326.               ]
  327.       },
  328.       {
  329.          "name": "ST_UINTRESERV29",
  330.          "type": [
  331.                "int",
  332.                "null"
  333.               ]
  334.       },
  335.       {
  336.          "name": "ST_UINTRESERV30",
  337.          "type": [
  338.                "int",
  339.                "null"
  340.               ]
  341.       },
  342.       {
  343.          "name": "ST_UINTRESERV31",
  344.          "type": [
  345.                "int",
  346.                "null"
  347.               ]
  348.       },
  349.       {
  350.          "name": "ST_UINTRESERV32",
  351.          "type": [
  352.                "int",
  353.                "null"
  354.               ]
  355.       },
  356.       {
  357.          "name": "ST_FLOATRESERV13",
  358.           "type": [
  359.                "double",
  360.                "null"
  361.               ]
  362.       },

  364.       {
  365.          "name": "ST_FLOATRESERV14",
  366.           "type": [
  367.                "double",
  368.                "null"
  369.               ]
  370.       },

  372.       {
  373.          "name": "ST_FLOATRESERV15",
  374.           "type": [
  375.                "double",
  376.                "null"
  377.               ]
  378.       },

  380.       {
  381.          "name": "ST_FLOATRESERV16",
  382.           "type": [
  383.                "double",
  384.                "null"
  385.               ]
  386.       },

  388.       {
  389.          "name": "ST_FLOATRESERV17",
  390.           "type": [
  391.                "double",
  392.                "null"
  393.               ]
  394.       },

  396.       {
  397.          "name": "ST_FLOATRESERV18",
  398.           "type": [
  399.                "double",
  400.                "null"
  401.               ]
  402.       },
  403.       {
  404.          "name": "ST_FLOATRESERV19",
  405.           "type": [
  406.                "double",
  407.                "null"
  408.               ]
  409.       },
  410.       {
  411.          "name": "ST_FLOATRESERV20",
  412.           "type": [
  413.                "double",
  414.                "null"
  415.               ]
  416.       },
  417.       {
  418.          "name": "ST_FLOATRESERV21",
  419.           "type": [
  420.                "double",
  421.                "null"
  422.               ]
  423.       },
  424.       {
  425.          "name": "ST_FLOATRESERV22",
  426.           "type": [
  427.                "double",
  428.                "null"
  429.               ]
  430.       },
  431.       {
  432.          "name": "ST_FLOATRESERV23",
  433.           "type": [
  434.                "double",
  435.                "null"
  436.               ]
  437.       },
  438.       {
  439.          "name": "ST_FLOATRESERV24",
  440.           "type": [
  441.                "double",
  442.                "null"
  443.               ]
  444.       },
  445.       {
  446.          "name": "ST_FLOATRESERV25",
  447.           "type": [
  448.                "double",
  449.                "null"
  450.               ]
  451.       },
  452.       {
  453.          "name": "ST_FLOATRESERV26",
  454.           "type": [
  455.                "double",
  456.                "null"
  457.               ]
  458.       },
  459.       {
  460.          "name": "ST_FLOATRESERV27",
  461.           "type": [
  462.                "double",
  463.                "null"
  464.               ]
  465.       },
  466.       {
  467.          "name": "ST_FLOATRESERV28",
  468.           "type": [
  469.                "double",
  470.                "null"
  471.               ]
  472.       },
  473.       {
  474.          "name": "ST_FLOATRESERV29",
  475.           "type": [
  476.                "double",
  477.                "null"
  478.               ]
  479.       },
  480.       {
  481.          "name": "ST_FLOATRESERV30",
  482.           "type": [
  483.                "double",
  484.                "null"
  485.               ]
  486.       },
  487.       {
  488.          "name": "ST_FLOATRESERV31",
  489.           "type": [
  490.                "double",
  491.                "null"
  492.               ]
  493.       },
  494.       {
  495.          "name": "ST_FLOATRESERV32",
  496.           "type": [
  497.                "double",
  498.                "null"
  499.               ]
  500.       },
  501.       {
  502.          "name": "ST_CHECKMARK",
  503.           "type": [
  504.                "string",
  505.                "null"
  506.               ]
  507.       },
  508.       {
  509.          "name": "ST_STATE",
  510.           "type": [
  511.                "int",
  512.                "null"
  513.               ]
  514.       },
  515.       {
  516.          "name": "ST_MA_SERIALNO",
  517.          "type": [
  518.                  "null",
  519.                  "string"
  520.                  ],
  521.          "default": null
  522.       },
  523.       {
  524.          "name": "ST_FLOATRESERV33",
  525.          "type": [
  526.                  "null",
  527.                  "double"
  528.                  ],
  529.          "default": null
  530.       },
  531.       {
  532.          "name": "ST_FLOATRESERV34",
  533.          "type": [
  534.                  "null",
  535.                  "double"
  536.                  ],
  537.          "default": null
  538.       }
  539.    ]
  540. }

注意：在schema文件中，如果当数据文件中某个字段没有值，如果schema中没有出现允许该字段为null，会抛出错误。 一定要定义type,允许为空，且要加上默认值null
        顺序不能变，否则也创建不成功：
        正确顺序如：
              {
         "name": "ST_FLOATRESERV34",
         "type": [
                 "null",
                 "double"
                 ],
         "default": null
      }
    

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31347383/viewspace-2123733/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31347383/viewspace-2123733/

csdn19011
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
02-Hive/Hadoop数据存储格式与avro文件创建hive表
qq_35281775的博客
05-05 1571
Hive/Hadoop数据存储格式与avro文件创建hive表 一.存储格式1.Hadoop 中的文件格式1>.SequenceFile SequenceFile是Hadoop API 提供的一种二进制文件，它将数据以<key,value>的形式序列化到文件中。这种二进制文件内部使用Hadoop 的标准的Writable 接口实现序列化和反序列化。它与Hadoop API...
sqoop导入mysql到hive_sqoop 从mysql直接导入到hive表
weixin_39672572的博客
01-18 382
mysql的 数据库 数据过大，做数据分析，需要从 mysql 转向hadoop。1，遇到的问题从mysql转数据到hive中，本想用parquet格式，但是一直都没有成功，提示Hive import and create hive table is not compatible with importing into ParquetFile format.sqoop不管是mysql直接到hive...
Avro总结(RPC/序列化)
每天一小步
07-08 922
[size=medium] Avro（读音类似于[ævrə]）是Hadoop的一个子项目，由Hadoop的创始人Doug Cutting（也是Lucene，Nutch等项目的创始人，膜拜）牵头开发，当前最新版本1.3.3。Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。它的主要特点有：支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro提供的机制使动态...
如何使用sqoop导入avro file到hive中
raven_41的专栏
11-09 650
1，使用sqoop命令，--as-avrodatafile参数从mysql，表t_movie导入hdfs，编辑命令 [root@cdh-demo ~]# cat import_avro.txt import --connect jdbc:mysql://cdh-demo:3306/mytest --username kobezhu --password kobezhu --table t_mo...
hive的序列化表（avro）
weixin_30252709的博客
08-03 390
hive数据内的avro表也是可以是外部表和内部表两种形式，如下为创建avro外部表的语句： 1 CREATE EXTERNAL TABLE tweets 2 COMMENT "A table backed by Avro data with the 3 Avro schema embedded in the CREATE TABLE statement" ...
Hive之——Avro Hive SerDe
冰河的专栏
03-17 928
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88623683 使用表属性信息定义Avro Schema 如下语句通过制定AvroSerDe、AvroContainerInputFormat和AvroContaionerOutputFormat创建一个Avro表。Avro具有自身的模式定义语言。这个模式定义语言可以使用属性a...
haivvreo:蜂巢+ Avro。 Serde与Hive中的Avro合作
05-10
）是LinkedIn开发的Hive Serde，用于在Hive中处理Avro编码的数据。 Haivvreo的要点： 从Avro模式推断Hive表的模式。 利用Avro的向后兼容功能，根据指定的架构读取表中的所有Avro文件支持任意嵌套的架构。 将所有Avro...
hbase-avro-hive
05-15
该项目演示了如何通过Hive使用包含Avro记录的HBase列。 Hive在下为此用例添加了新功能，但是我找不到如何使用它的示例，这使我们来到这里。 首先，创建并加载一个HBase表 文件夹hbase-put包含一个Maven项目，该项目...
hive-exec-3.1.2 排除guava
03-19
hive-exec-3.1.2 排除guava
idea 集成使用 hive 需要导入的jar包.rar
02-12
4. **Avro库**：如`avro-*.jar`，因为Hive可能使用Avro作为数据序列化格式。 5. **Thrift库**：如`thrift-*.jar`，Hive的元数据服务使用Thrift进行跨语言通信。 6. **Zookeeper库**：如`zookeeper-*.jar`，Hadoop和...
avro linux C++动态库
06-12
在实际应用中，Avro还常常与Hadoop、Hive、Pig等大数据工具结合使用，以提供高效的数据交换和存储。同时，由于其支持schema演化，Avro也适用于那些需要随着时间发展而改变数据结构的项目。 总之，Avro Linux C++...
[1020]hive中分区表的创建
周小董
07-10 6448
1、开启分区 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; 否则会出抛出异常： 2、创建分区表 创建静态分区表： create table test_part_table( word string, num bigint )partitioned by(dt string) row format delimited fields terminated by '\t';
Avro技术应用_3. 利用 Hive 表处理 Avro 数据
Mike han
11-29 2769
Github 源码：https://github.com/Hanmourang
hive文件存储格式orc,parquet,avro对比
welcome to zdsg's csdn
10-13 3395
orc文件存储格式 ORC文件也是以二进制方式列式存储的，所以是不可以直接读取，ORC文件也是自解析的，它包含许多的元数据，这些元数据都是同构ProtoBuffer进行序列化的。文件结构如下 ORC文件：保存在文件系统上的普通二进制文件，一个ORC文件中可以包含多个stripe，每一个stripe包含多条记录，这些记录按照列进行独立存储，对应到Parquet中的row group的概念。 文...
hive表存储为avro格式
走向程序的康庄大道
07-19 1814
Hive 0.14 and later versions CREATE TABLE kst ( string1 string, string2 string, int1 int, boolean1 boolean, long1 bigint, float1 float, double1 double, inner_record1 ...
Hive官方使用手册——Avro Files
三米学习笔记杂货铺
03-23 4249
本文为自己翻译的译文，原文地址：https://cwiki.apache.org/confluence/display/Hive/AvroSerDeHive官方使用手册——Avro FilesAvailability最早支持AvroSerDe的版本The AvroSerde is available in Hive 0.9.1 and greater.概述 –  Hive中使用AvroAvroSe...
XML到Avro的转换
最佳 Java 编程
05-20 243
我们都知道XML是正确的吗？ 以防万一，这里的一切都没问题。 <root> <node>5</node> </root> 现在，计算机真正需要的是数字5及其周围的环境。 在XML中，您（人和计算机）可以看到它如何表示五个上下文。 现在假设您有一个业务XML文档，例如FPML <FpML xmlns="http://www.fpml....
在Hive中使用Avro
onlyForCloud的专栏
12-04 2763
http://www.iteblog.com/archives/1007 为了解析Avro格式的数据，我们可以在Hive建表的时候用下面语句： 01 hive> CREATE EXTERNAL TABLE tweets 02     > COMMENT "A table backed by A
【Hive十三】Hive读写Avro格式的数据
bit1129的博客
04-14 1145
 1. 原始数据 hive&gt; select * from word; OK 1 MSN 10 QQ 100 Gtalk 1000 Skype      2. 创建avro格式的数据表   hive&gt; CREATE TABLE avro_table(age INT, name STRING)STORED AS AVRO;     3. 数据表...
使用avro数据源测试flume的实验原理
最新发布
05-19
3. 启动 Avro 数据源：使用 Avro 工具包中的命令行工具，启动 Avro 数据源，并将其绑定到指定的 IP 地址和端口号上。此时，Avro 数据源会监听这个端口，并等待 Flume Agent 的连接请求。 4. 模拟数据生成：使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值