![](https://img-blog.csdnimg.cn/direct/deaf059a986e4369801870159bfbcf8e.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 76
Hadoop学习总结
朱一头zcy
BugMaker就是我
展开
-
Hadoop入门之Hadoop的组成
一样 记录了某个文件的信息:切成哪两个数据块;各自存在哪个dn上;对应哪个文件等等的信息。2nn是nn的秘书 对nn目录的信息每隔一段时间就会备份一次。(逻辑上) 一部分一部分去读取某个数据 每一部分作为一个。简单来说 假如需要存储500PB的数据到HDFS上。包含两种服务 一个RM和多个NM。首先会把各个文件数据切割成。而且每台机器计算的时候 是。默认是128MB/块。Reduce-合:规约。原创 2024-03-15 16:57:09 · 430 阅读 · 0 评论 -
搭建Hadoop集群(完全分布式运行模式)
集群规划完之后 就要搭建集群了(说白了就是要修改配置文件)hadoop提供可自定义当Hadoop集群启动后先加载默认配置然后再加载自定义配置文件 自定义的配置信息会覆盖默认配置。原创 2024-03-16 15:27:23 · 1089 阅读 · 0 评论 -
Hadoop集群常用的两个脚本(查看所有服务器java进程+集群启停)
这样的话 就不需要我再手动配置环境变量了!同时希望 该脚本能在任意位置执行。回到这里 来写我们自定义的脚本。在一台常用的服务器上编写脚本。那也就要配置环境变量了!那我把bin目录创建出来。原创 2024-03-16 15:36:33 · 615 阅读 · 0 评论 -
HDFS概述及常用shell操作
因为HDFS里所有的文件都是维护在磁盘里的在磁盘中对文件的历史内容进行修改 效率极其低(但是追加可以)原创 2024-03-16 21:22:08 · 552 阅读 · 0 评论