hadoop
dinl_vin
这个作者很懒,什么都没留下…
展开
-
hive 查出A(每天记录)表有而B(历史)表没有的数据(适用于增量添加数据)
问题描述有的表每天会记录服务器当天的记录,每天会收集当天记录到大数据仓库当中,作为数据工作者的我们,不仅要保证不漏掉历史记录,而且要避免冗余存储,我们把每天都传过来的日数据表称为A表,存储所有记录的表称为B表。插入新增或者有变化的sqlinsert into table history_table select A.col1,A.col2,A.col3 .... ,A. colN from...原创 2019-12-10 18:14:43 · 1246 阅读 · 0 评论 -
Hadoop 生态组件初探系列之——HDFS
HDFS简要概括HDFS(Hadoop Distribute File System),从它的英文全称拆开理解如下:Hadoop : 它是Hadoop的组件,言简意赅,其实不只是组件,它还是hadoop的核心,基础;Distribute : 分布式的,说明它能多台机器共用;File System: 本身是一个文件系统,类似于linux的文件系统;在hdfs集群中,机器被分为存储元数...原创 2019-04-23 16:03:09 · 176 阅读 · 0 评论