![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bigdata
CodingWithGakki
这个作者很懒,什么都没留下…
展开
-
hive多次嵌套使用struct时如何指定分隔符?
目前是嵌套了两层,HUE查看表结构如下:建表语句:CREATE TABLE `test.struct_test2`( `a` int, `b` struct<b1:int,b2:struct<b21:int,b22:int,b23:int>,b3:int>, `c` int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' COLLECTION ITEMS TERMINATED BY ','可以看到这里指定原创 2021-09-14 11:12:59 · 369 阅读 · 1 评论 -
【转】数据仓库ODS、DW和DM概念区分
【转】数据仓库ODS、DW和DM概念区分原文章今天看了一些专业的解释,还是对ODS、DW和DM认识不深刻,下班后花时间分别查了查它们的概念。ODS——操作性数据DW——数据仓库DM——数据集市1.数据中心整体架构数据中心整体架构数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。2.数据仓库的ODS、DW和DM概念ods、dw、dm区分转载 2020-11-19 14:46:36 · 242 阅读 · 0 评论 -
scala处理科学计数法的时间
遇到了一个科学计数法表示的时间1.3815072E+12,想要将其转换为指定格式yyyy-MM-dd HH:mm:ss,思路如下:import java.text.SimpleDateFormatimport java.util.Dateobject test { def main(args: Array[String]): Unit = { val decimal = new java.math.BigDecimal("1.3815072E+12") val timesta原创 2020-11-16 11:43:56 · 577 阅读 · 0 评论 -
[git]merge和rebase的区别
https://www.cnblogs.com/xueweihan/p/5743327.html转载 2020-11-10 11:59:57 · 89 阅读 · 0 评论 -
hive表加载数据
hive表加载数据总结自己在hive表中常用的几种载入数据的方式1. load data (常用)load data inpath ‘/集群路径.txt’;load data local inpath ‘/本地路径’;2. select(偶尔用)insert into table tablename1 as select * from tablename23. insert(基本不用)insert into table tablename (id,name) values (001,aa原创 2020-09-29 12:01:48 · 163 阅读 · 0 评论 -
hive内部表外部表的挂载数据、删除数据及修改原数据
标题hive内部表外部表的挂载数据、删除数据及修改原数据各种细节,一一帮你踩坑原数据1700 Beijing1800 London1900 Tokyo建立外部表:create external table studentid intname strin)row format delimited fields terminated by ' '加载本地数据:load data local inpath '/root/data/student.txt' into table st原创 2020-09-29 09:27:18 · 1289 阅读 · 3 评论 -
Hadoop高可用+联邦机制简谈
Hadoop HA及联邦机制配置指南一 Hadoop HA机制存在原因1.1 HA:High Available,高可用1.2 如何解决:1.3 集群规划样例:二 HAhadoop安装配置2.1 以3台机器配置 hadoop HA 为例2.2 提前工作2.3 Hadoop集群模式环境部署 HA一、服务节点的部署规划二、ZooKeeper 配置--分布式模式三、配置 Hadoop 集群1)、core-site.xml2)、hdfs-site.xml3)、mapred-site.xml4)、yarn-site.原创 2020-08-17 20:40:25 · 543 阅读 · 0 评论