- 博客(3)
- 收藏
- 关注
RSS订阅原创 Apache Hive
ELT: 从数据源中抽取后立即加载。8.分区表：在大数据中，最常用的一种思想就是分治，我们可以把大的文件切割划分成一个的小的文件，这样每次操作一个小的文件就会很容易了同样的道理，在hive当中也是支持这种思的，就是我们可以把大的数据，按照每天，或者每小时进行切分成一个个的小的文件，这样去操作小文件就会容易得多了。9. 分桶表：分桶和分区一样，也是一种通过改变表的存储模式，从而完成对表优化的一种调优方式但和分区不同，分区是将表拆分到不同的子文件夹中进行存储，而分桶是将表拆分到固定量的不同文件中进行存储。
2024-04-24 20:34:59
1490
2
原创 Hadoop集群及HDFS文件系统
Standalone mode（单机模式） :单机模式， 1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，主要用于学。hdfs默认文件:https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-1.集群简介：HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。察程序的执行的情况。每个文件的数据块大小和副本系数。
2024-04-23 21:31:03
1643
原创 今天对Hadoop的学习感悟
4、主从模式 ：大数据框架，大多数的基础架构上，都是符合：中心化模式的。总结：今天实习的第一天学习了hadoop的知识点，对hadoop的了解又有了新的认识，在宿舍也在虚拟机进行了hadoop的搭建，只不过现在还没配置完，不过明天应该...嗯...能弄完... 又是一天过去了，期待着明天的到来。5、分布式和集群区别：分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事，而集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事。3、分布式的基础架构：一是去中心化模式，二是中心化模式。
2024-04-23 00:10:18
737
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人