Hadoop
文章平均质量分 79
T D Z
这个作者很懒,什么都没留下…
展开
-
HADOOP----元数据管理机制 checkpoint机制 namenode/datanode HDFS存储数据特点 MR
搜索依赖:repository 下载数据流程 1.客户端向namenode发送下载请求,namenode返回元数据 2.客户端解析返回元数据的每个数据块的各个主机,之后向某一个datanode发送下载请求 3.请求下载第一个数据块,再请求下载第二个数据块拼接到第一个数据块的后面,依次拼接,形成文件 元数据管理机制 1.将用户操作的元数据存储到FsImage对象中,内存会丢失 2.所以会定期的(1h)将数据存储到磁盘,在时间间隔期间会造成数据丢失 3...原创 2020-12-28 15:34:54 · 212 阅读 · 0 评论 -
基础知识回顾(io/序列化/json/迭代器)hdfs的安装
基础知识回顾 IO 在程序中IO流是阻塞的,支持随机读取数据,不支持修改数据 long skip=fis.skip(long): 读取文件跳过n个字节 1k=1024byte 序列化 将内存中的对象存储在磁盘上,或者是将对象通过网络传输! 需要对象实现序列化, 本质:序列化就是对象转二进制的规则,反序列化就是将二进制转化成对象规则 java中有自己的序列化机制实现接口(Serializable) 序列化将对象持久化到磁盘(持久化 钝化) 反序列将磁盘上的对象数据反序列化成java对象(活化) JSON:原创 2020-11-29 23:26:32 · 66 阅读 · 0 评论 -
HADOP----hadoop简介 HDFS的安装
基础知识回顾 IO 在程序中IO流是阻塞的,支持随机读取数据,不支持修改数据 long skip=fis.skip(long): 读取文件跳过n个字节 1k=1024byte序列化 将内存中的对象存储在磁盘上,或者是将对象通过网络传输! 需要对象实现序列化, 本质:序列化就是对象转二进制的规则,反序列化就是将二进制转化成对象规则 java中有自己的序列化机制实现接口(Serializable) 序列...原创 2020-12-28 15:32:24 · 278 阅读 · 0 评论