- 博客(3)
- 收藏
- 关注
原创 Apache Hive
ELT: 从数据源中抽取后立即加载。8.分区表:在大数据中,最常用的一种思想就是分治,我们可以把大的文件切割划分成一个的小的文件,这样每次操作一个小的文件就会很容易了同样的道理,在hive当中也是支持这种思的,就是我们可以把大的数据,按照每天,或者每小时进行切分成一个个的小的文件,这样去操作小文件就会容易得多了。9. 分桶表:分桶和分区一样,也是一种通过改变表的存储模式,从而完成对表优化的一种调优方式但和分区不同,分区是将表拆分到不同的子文件夹中进行存储,而分桶是将表拆分到固定量的不同文件中进行存储。
2024-04-24 20:34:59
1490
2
原创 Hadoop集群及HDFS文件系统
Standalone mode(单机模式) :单机模式, 1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager,主要用于学。hdfs默认文件:https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-1.集群简介:HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。察程序的执行的情况。每个文件的数据块大小和副本系数。
2024-04-23 21:31:03
1643
原创 今天对Hadoop的学习感悟
4、主从模式 :大数据框架,大多数的基础架构上,都是符合:中心化模式的。总结:今天实习的第一天学习了hadoop的知识点,对hadoop的了解又有了新的认识,在宿舍也在虚拟机进行了hadoop的搭建,只不过现在还没配置完,不过明天应该...嗯...能弄完... 又是一天过去了,期待着明天的到来。5、分布式和集群区别:分布式的主要工作是分解任务,将职能拆解,多个人在一起做不同的事,而集群主要是将同一个业务,部署在多个服务器上 ,多个人在一起做同样的事。3、分布式的基础架构:一是去中心化模式,二是中心化模式。
2024-04-23 00:10:18
737
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人