- 博客(4)
- 收藏
- 关注
原创 为什么说Java的序列化不适合Hadoop
java的序列化是把业务类及其子类一起序列化,这使得序列化和反序列化的数据都比较多,而数据是经过网络传输接收的,这样网络的压力就大,这种模式并不适合海量数据处理,海量数据处理只需要序列化和反序列化我们的业务数据,hadoop只序列化基本的数据类型,减少io读写次数,缓解网络压力。为什么序列化对Hadoop很重要?因为Hadoop在集群之间进行通讯或者RPC调用的时候,需要序列化,而且要
2014-06-25 09:38:12 1009
原创 客户端与NameNode通信过程(源码角度分析)
1.实例代码: final FSDataOutputStream out= fileSystem.create(new Path(FILE_PATH));//创建文件
2014-06-17 20:02:42 1263
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人