- 博客(4)
- 收藏
- 关注
RSS订阅原创 简单说说大数据技术yarn是什么
这就引入了YARN，它重新设计了Hadoop的资源管理和调度框架，使得Hadoop集群能够同时运行多个不同类型的计算框架，如MapReduce、Apache Spark、Apache Flink等。这样可以提高资源利用率和集群的整体性能。它就像是一个智能的调度器，确保每个任务都得到所需的资源，就像餐厅里的总管一样，让每个顾客都能满意地享用美食。总之，YARN是一个用于资源管理和任务调度的大数据技术，它扩展了Hadoop集群的功能，使得集群能够同时运行多个不同类型的计算框架，提高了大数据处理的灵活性和效率。
2023-06-05 22:02:35
169
1
原创 什么是spark机器学习
Spark ML的优势在于其分布式计算和可扩展性。同时，Spark ML还提供了易于使用的API和工具，使得开发人员可以快速构建和部署机器学习模型，无论是在本地开发环境还是在分布式集群中。它建立在Spark的分布式计算引擎之上，利用了Spark的数据处理和调度能力，能够在集群中并行处理大量的数据和计算任务。它提供了分布式计算和丰富的机器学习算法，帮助开发人员高效地构建和训练机器学习模型，应用于大规模数据分析和预测任务。它提供了一组丰富的工具和算法，用于构建和训练机器学习模型，以及进行数据预处理和特征工程。
2023-06-05 22:01:13
1492
1
原创 通俗介绍ZooKeeper
例如，Hadoop集群中的NameNode和DataNode之间需要进行状态同步和故障恢复，这就需要ZooKeeper来协调和管理它们之间的一致性。分布式系统中的各个节点需要相互协作，但是由于网络延迟、节点故障等原因，节点之间的一致性和同步变得复杂。总之，ZooKeeper是一个用于分布式系统的协调服务，它提供了可靠的数据存储和通知机制，帮助分布式系统中的节点进行协作和一致性管理。ZooKeeper是一个开源的分布式协调服务，它是为了帮助解决分布式系统中的一致性和协调问题而设计的。
2023-06-05 21:59:38
125
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人