- 博客(5)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 浅析MapReduce(二）
浅析MapReduce（二）Map -> ReduceMap阶段五大步骤 MapReduce其实是分治算法的一种实现，所谓分治算法就是“就是分而治之”，将大的问题分解为相同类型的子问题（最好具有相同的规模），对子问题进行求解，然后合并成大问题的解。MapReduce就是分治法的一种，将输入进行分片，然后交给不同的task进行处理，然后合并成最终的解。具体流程图如下：
2018-01-29 19:30:34
560
原创 HDFS文件系统操作JAVA-API
public class HDFSIO { /** * 创建文件夹 * @param path * @throws IOException */public static void mkdir(String path)throws IOException{ //读取配置文件 Configuration configuration = new Con
2018-01-27 09:12:35
307
原创 Hadoop HDFS原理
HDFS 架构HDFS 对外部客户机而言，HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。但是 HDFS 的架构是基于一组特定的节点构建的，这是由它自身的特点决定的。这些节点包括 NameNode（仅一个），它在 HDFS 内部提供元数据服务；DataNode，它为 HDFS 提供存储块。由于仅存在一个 NameNode，因此这是 HDFS 的一个缺
2018-01-27 09:09:55
489
原创 大数据01
1、大数据 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。[1] 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[2] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IB
2018-01-22 21:33:16
499
原创 学习Maven遇到的一些坑
学习Maven遇到的一些坑Maven新建webapp项目index.jsp报错 解决办法：直接在pom.xml文件中添加jar包支持dependency> groupId>javax.servletgroupId> artifactId>javax.servlet-apiartifactId> version>3.1.0version>depen
2018-01-09 09:07:52
2393
python 自动化运维+web 监控系统视频教程下载 百度云盘
2018-04-10
javaweb从入门到精通教程视频&PPT;&案例源码
2018-03-14
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
2018-01-26
ACM代码库吉大
2017-03-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人