大数据学习笔记
大数据学习笔记
进军大数据的李华
这个作者很懒,什么都没留下…
展开
-
Hadoop 中问答题
当客户端对HDFS中的文件进行新增或者修改操作,操作记录首先被记入edits日志文件中,当客户端操作成功后,相应的元数据会更新到内存元数据中。fsimage和edits文件都是经过序列化的,在NameNode启动的时候,它会将fsimage文件中的内容加载到内存中,之后再执行edits文件中的各项操作,使得内存中的元数据和实际的同步,存在内存中的元数据支持客户端的读操作,也是最完整的元数据。(5)如果没有获取到所有的切片信息,再与距离最近其他切片副本所在的datanode建立通信通道,获取该节点的切片。原创 2023-06-30 17:20:18 · 423 阅读 · 0 评论 -
hadoop集群启停脚本(包含hdfs,yarn,historyserver)
【代码】hadoop集群启停脚本(包含hdfs,yarn,historyserver)原创 2023-06-25 16:20:21 · 151 阅读 · 0 评论 -
rsync集群分发脚本
【代码】rsync集群分发脚本。原创 2023-06-25 16:19:03 · 148 阅读 · 0 评论