- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MapReduce应用场景、原理与基本架构理论部分（大数据学习）
MapReduce应用场景、原理与基本架构（理论部分）预习笔记一、MapReduce设计思想与特色MapReduce是分布式计算框架，其设计思想是将文件切分后，发送到多个不同的节点上分别进行计算，如下图所示：可以看到存储在HDFS上的数据被切分成split后进行MapReduce并输出到HDFS上。采用MapReduce有如下优点：易于编程（多种语言接口）具有良好的拓展性具有高容错性适合PB级以上的海量数据的离线处理当然也有如下缺点：无法实现实时计算无法进行流式计算无法进行
2020-08-14 17:23:32
1304
原创 Hadoop 2.0 Yarn原理（大数据学习）
Hadoop 2.0 Yarn原理预习笔记（一）Yarn基本组件Yarn主要是由4个组件组成的，分别是ResourceManager，NodeManager，ApplicationMaster和Container。ResourceManager（RM）它负责处理客户端的请求，对各NodeManager上的资源进行统一管理和调度，给ApplicationMaster分配空闲的container运行并监控其运行状态，主要功能由内置的两个组件完成：（1）调度器（Scheduler）调度器根据容量
2020-08-14 15:12:46
478
原创 HDFS部署、原理与基本框架实践部分（大数据学习）
第二讲 HDFS部署、原理与基本框架（实践部分）实践部分（Shell命令）一、文件命令（fs）二、管理命令（dfsadmin）三、文件管理工具命令（fsck）四、数据均衡器（balancer）问答题第二题请在你搭建的 HDFS 集群上按照以下流程操作，并写出对应的 shell 命令和执行结果：（1） 描述你的Hadoop集群环境，比如几个节点，这些节点的角色（是Client、Namenode还是 DataNode）分别是什么？（2） 在 HDFS 上创建目录 /home/[yournam
2020-08-02 15:58:36
315
原创 层次分析法模型（数学建模学习）
层次分析法模型一、层次分析法应用场景层次分析法（The Analytic hierarchy process/AHP）是比赛中最基础最常用的模型，应用场景在于解决评价类问题。比如哪个人最优秀，哪种方案最好之类。
2020-07-24 17:32:00
23969
1
原创 2013年蓝桥杯省赛全面解析系列&&题目思维拓展（AB组合并剖析 C++）
2013年蓝桥杯省赛全面解析（AB组合并C++）一.2013年 C++ B组真题A.高斯日记1.题目描述2.提取信息3.思路与分析4.源代码5.小结与拓展B.马虎的算式1.题目描述2.提取信息3.思路与分析4.源代码5.小结与拓展C.第39级台阶1.题目描述2.提取信息3.思路与分析4.源代码5.小结与拓展合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片...
2020-03-19 00:25:56
548
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人