- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop原理汇总（二）——MapReduce
5 MapReduce5.1 设计理念计算向数据靠拢，减小节点间的数据移动开销 前提条件 ● 待处理的数据集可以分解为许多小数据集 ● 每个小数据集都可以完全地并行处理 5.2 基础架构 MapReduce框架包含一个Master和若干个Slave。Master上运行JobTracker，负责作业和任务的调度，并监控它们的执行；Slave上运行TaskTracker，负
2017-05-26 11:42:33
1016
原创 Hadoop原理汇总（一）——HDFS
摘要：本文主要对hadoop的原理性知识进行汇总，包括核心组件、HDFS存储原理、HDFS shell命令、HDFS Java端API、MapReduce基本原理、shuffle基本原理、sort过程等。1 Hadoop核心组件生态系统图 HDFS文件系统 它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应
2017-05-25 16:33:47
5688
原创 git提交中target等目录忽略与取消忽略
在本地仓库的根路径下，找到ignore隐藏文件，编辑隐藏文件，在隐藏文件里添加或删除条目，即可在提交过程中忽略指定路径与取消忽略
2017-05-24 09:37:21
17032
5
原创 java反射机制
摘要：本文主要介绍Java的反射机制，内容涵盖反射的基本概念、主要作用、相关类、主要API，以及反射的应用示例。1 关于反射1.1 基本概念 反射机制是在运行状态中，对于任意一个类或对象，都能够调用它的任意一个方法和属性，这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。1.2 主要作用反射机制主要提供了以下功能： 1. 在运行时判断任意一个对象所属的类； 2. 在
2017-05-16 13:05:01
292
原创 Java并发（三）——同步计数器
1 CountDownLatch同步计数器1.1 类的概述 倒计数门闩。在完成一组正在其它线程中执行的操作之前，它允许一个或多个线程一直等待。在计数器到达0之前，await方法会一直阻塞；之后，会释放所有等待线程，await的所有后续调用都将返回。1.2 主要方法CountDownLatch(int count) 构造一个用给定计数初始化的同步计数器void await() 使当前线程在计
2017-05-15 08:56:12
8142
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人