- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop技术内幕-Hadoop文件系统
第5章 Hadoop 文件系统1.文件及文件系统文件的本质是存储在设备上的线性字节流文件系统用于文件的管理包括文件的结构以及命名、存取、使用、保护和实现文件系统支持的系统调用：1） 创建文件2） 删除文件3） 打开文件4） 关闭文件5） 读文件6） 写文件7） 追加数据8） 读记录9） 写记录10） 删除记录11）
2017-03-28 18:50:54
1374
原创 Hadoop技术内幕-Hadoop远程过程调用
1．远程过程调用（RPC） 即允许程序调用位于其他机器上的过程：比如A是调用方，B是被调用方，A将信息传给B，然后挂起等待B反馈信息给A，最简单的过程调用是方法调用，典型的控制流同步模型（C/S模型在不同进程之间交互）就是一种RPC。RPC通过接口定义语言（IDL）描述远程调用的接口信息，通过调用IDL编译器之后会生成三个文件包括头文件（包含接口函数的定义），客户存根（可以理解为客户端
2017-03-27 19:13:43
936
原创 Hadoop技术内幕-序列化与压缩
1.java序列化对象序列化：将对象编码成字节流，以及从字节流中重构对象三种用途：1） 持久化格式：将对象序列化后的字节流保存在磁盘以供反序列化使用2） 通信数据格式：对象序列化后的字节流可以通过网络从一台虚拟机传输到另一台虚拟机3） 拷贝、克隆机制：将对象序列化后的字节流保存在内存的缓存区中，然后通过反序列化得到以前对象的拷贝 Java自带的序列化机制可以跨平台，即在
2017-03-27 19:12:32
499
原创 Hadoop技术内幕-Hadoop配置信息处理
1.Hadoop配置文件：使用org.apache.hadoop.conf.Configuration处理配置信息，并采用XML格式，资源合并（比如core-default.xml和core-site.xml而言，若前一个文件没有设置final，则后一个文件的内容将会覆盖前者中的同名配置；否则当加载后者时会出现警告信息）；属性扩展，比如${Hadoop.tmp.dir}/dfs/name中假设${
2017-03-27 19:11:41
403
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人