- 博客(3)
- 收藏
- 关注
RSS订阅原创 武汉理工中软国际大数据专业实习日志3
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。优点 MapReduce易于编程：它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行。
2023-07-24 10:38:18
174
原创 武汉理工中软国际大数据专业实习日志2
关系数据库已经很流行 关系数据库在大数据时代已经不能满足要求 首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据 其次，用户需要执行高级分析，比如机器学习和图像处理 在实际大数据应用中，经常需要融合关系查询和复杂分析算法（比如机器学习或图像处理），但是，缺少这样的系统。
2023-07-22 21:25:58
198
原创 武汉理工中软国际大数据专业实习日志1
对于RDD而言，每一次转换操作都会产生不同的RDD，供给下一个“转换”使用 转换得到的RDD是惰性求值的，也就是说，整个转换过程只是记录了转换的轨迹，并不会发生真正的计算，只有遇到行动操作时，才会发生真正的计算，开始从血缘关系源头开始，进行物理的转换操作。比如，对四个键值对("spark",1)、("spark",2)、("hadoop",3)和("hadoop",5)，采用groupByKey()后得到的结果是：("spark",(1,2))和("hadoop",(3,5))
2023-07-20 22:38:08
213
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人