- 博客(4)
- 收藏
- 关注
RSS订阅原创 大数据技术应用
另外，各个处理节点之间的通信模型不再像Hadoop只有shuffle一种模式，用户可以命名，物化，控制中间结果的存储，分区等。mapreduce中的计算结果保存在磁盘上，而spark支持DAG图的分布式并行计算的编程框架，减少了迭代过程中数据的落地，提高了处理效率。spark特点：（1)运行速度快，如果数据由磁盘读取，速度是hadoop mapreduce的10倍以上，如果数据从内存读取，速度是hadoop mapreduce的100倍以上。结构体：用于组合不同类型的数据，可以包含不同类型的字段或属性。
2024-03-13 18:29:19
1678
原创 云上大数据技术
(3)HDFS客户端通过FSDataInputStream按顺序去读取DataNode中的block信息(它会选择负载最低的或离客户端最近的一台DataNode去读block);Hadoop生态圈：HDFS，Mapreduce，YARN ，Hive，HBase，Zookeeper，Sqoop，Flume，Spark，Kafka，ES。hdfs读的流程：首先HDFS的客户端通过Distributed FileSystem(HDFS中API里的一个对象);结构化数据：表格数据，关系型数据库数据，XML数据。
2024-03-07 20:49:07
178
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人