- 博客(5)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 大数据学习-hadoop -第四课
MapReduce学习 Map”:主结点读入输入数据，把它分成可以用相同方法解决的小数据块（这里是一个分而治之的思想），然后把这些小数据块分发到不同的工作节点上(worder nodes)上，每一个工作节点(worder node)循环做同样的事，这就行成了一个树行结构（分布式计算中的很多模型都和图论有关，pageRank也是），而每一个叶子节点有来处理每一个具体的小数据块，再把这些处理
2016-07-21 11:31:14
734
原创 大数据学习-hadoop -第三课附加- hadoop RPC源码分析
RPC client 同服务端的连接其实就是一个普通的socke ，数据发送其实就是java io的socket发送数据的一般过程哦。 RPC server端则是用的NIO接收，通过一个Listener 处理得到的客户端的请求。Reader类中的doRead()方法和Server.Connection类中的readAndProcess()方法是真正的处理客户端请求的方法。
2016-07-20 19:00:22
419
原创 大数据学习-hadoop -第三课
接着学NIO java NIO的原理和具体实现 一．java NIO 和阻塞I/O的区别 1. 阻塞I/O通信模型 假如现在你对阻塞I/O已有了一定了解，我们知道阻塞I/O在调用InputStream.read()方法时是阻塞的，它会一直等到数据到来时（或超时）才会返回；同样，在调用ServerSocket.accept()方法时，也会一直阻塞到有客户端连接才会返
2016-07-20 17:15:55
331
原创 大数据学习-hadoop -第二课
第二课DataNode和NameNode之间的控制信息的交流是通过RPC机制完成的。但发现不会RPC，去学RPC，发现需要了解动态代理和java NIO。因此，再复习 动态代理和java NIODataNode端是通过获得NameNode的代理，通过该代理和NameNode进行通信的。而实现一个动态代理大概如下： 直接上代码 import java.lang.reflect.Invocati
2016-07-20 16:57:32
423
深入JVM内核—原理、诊断与优化 共11章ppt
2017-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人