- 博客(7)
- 资源 (1)
- 收藏
- 关注
原创 hive多次嵌套使用struct时如何指定分隔符?
目前是嵌套了两层,HUE查看表结构如下:建表语句:CREATE TABLE `test.struct_test2`( `a` int, `b` struct<b1:int,b2:struct<b21:int,b22:int,b23:int>,b3:int>, `c` int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' COLLECTION ITEMS TERMINATED BY ','可以看到这里指定
2021-09-14 11:12:59
378
1
转载 【转】数据仓库ODS、DW和DM概念区分
【转】数据仓库ODS、DW和DM概念区分原文章今天看了一些专业的解释,还是对ODS、DW和DM认识不深刻,下班后花时间分别查了查它们的概念。ODS——操作性数据DW——数据仓库DM——数据集市1.数据中心整体架构数据中心整体架构数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。2.数据仓库的ODS、DW和DM概念ods、dw、dm区分
2020-11-19 14:46:36
247
原创 scala处理科学计数法的时间
遇到了一个科学计数法表示的时间1.3815072E+12,想要将其转换为指定格式yyyy-MM-dd HH:mm:ss,思路如下:import java.text.SimpleDateFormatimport java.util.Dateobject test { def main(args: Array[String]): Unit = { val decimal = new java.math.BigDecimal("1.3815072E+12") val timesta
2020-11-16 11:43:56
590
原创 hive表加载数据
hive表加载数据总结自己在hive表中常用的几种载入数据的方式1. load data (常用)load data inpath ‘/集群路径.txt’;load data local inpath ‘/本地路径’;2. select(偶尔用)insert into table tablename1 as select * from tablename23. insert(基本不用)insert into table tablename (id,name) values (001,aa
2020-09-29 12:01:48
169
原创 hive内部表外部表的挂载数据、删除数据及修改原数据
标题hive内部表外部表的挂载数据、删除数据及修改原数据各种细节,一一帮你踩坑原数据1700 Beijing1800 London1900 Tokyo建立外部表:create external table studentid intname strin)row format delimited fields terminated by ' '加载本地数据:load data local inpath '/root/data/student.txt' into table st
2020-09-29 09:27:18
1314
3
原创 Hadoop高可用+联邦机制简谈
Hadoop HA及联邦机制配置指南一 Hadoop HA机制存在原因1.1 HA:High Available,高可用1.2 如何解决:1.3 集群规划样例:二 HAhadoop安装配置2.1 以3台机器配置 hadoop HA 为例2.2 提前工作2.3 Hadoop集群模式环境部署 HA一、服务节点的部署规划二、ZooKeeper 配置--分布式模式三、配置 Hadoop 集群1)、core-site.xml2)、hdfs-site.xml3)、mapred-site.xml4)、yarn-site.
2020-08-17 20:40:25
557
网络舆情分析系统的设计与实现.rar
2019-06-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人