hive
上官沐雪
第一步:减少愚蠢的需求。
第二步:努力删减部件或过程
第三步:简化和优化设计。
第四步:加速迭代周期
第五步:自动化
展开
-
hive sql转换成MR任务过程
hive sql转换成MR任务过程1)用户接口:ClientCLI(command-line interface)、JDBC/ODBC(jdbc 访问 hive)、WEBUI(浏览器访问 hive)2)元数据:Metastore元数据包括:表名、表所属的数据库(默认是 default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等;3)Hadoop使用 HDFS 进行存储,使用 MapReduce 进行计算。4)驱动器:Driver5)解析器(SQL Parser原创 2022-01-11 14:33:45 · 3116 阅读 · 0 评论 -
hive映射Elasticsearch时间date类型问题
hive映射Elasticsearch时间date类型问题hive映射es时间date类型出现问题,需要自定义类读取时间类型,如下:1.建立hive与es映射表CREATE EXTERNAL TABLE `hive_es_dt_basic4_20210724_02`( `id` string COMMENT 'from deserializer', `country` string COMMENT 'from deserializer', `regstatus` string COMM原创 2021-08-05 11:50:42 · 1020 阅读 · 0 评论 -
把mongoDB数据导入hive
hive映射mongoDB表mongodb基本脚本##创建一张表db.createCollection("company_info_mapping");##插入数据db.getCollection("company_info_mapping").insert( { companyName: "test", licenseNumber: "test", socialCreditCode: "test", hid: "7752395865026566931",原创 2021-06-07 16:59:24 · 592 阅读 · 2 评论