C_time的博客

用了好久的ha的hdfs，今天才发现 hdfs-site.xml文件的dfs.namenode.data.dir配置错了data这个单词没写 导致hdfs的文件不知道存储到哪去了 反正/home/hahadoopdata/dfs/data配置的这个路径就没有data文件夹 现在只能格式化hdfs 步骤跟简单 就三步 因为用过一段时间了 产生了许多文件 需要删除 1.删除文件 2.格式化 3.重启服...

checkpointing过程 机制 即secondarynamenode怎么工作的，做什么工作的. NameNode和SecondaryNamenode对fsimage与edits的操作 请大家看完指正！！！ 肯定有不对的地方，感谢！ 个人理解： 1.刚开启服务，namenode主动将edits和fsimage合并。 2.SecondaryNamenode刚开启不做操作，它是namenode的助...

VMware11 已经装好 CenOS6.5镜像 hadoop-2.7.1安装包 Linux的JDK1.8安装包 1.安装VMrare11 自行安装 2.安装CenOS6.5 Linux下mysql的安装 CentOS6.5 就是安装 一台 Linux的虚拟机 使用的镜像是CentOS6.5 3.修改主机名和映射 ’ 安装完成了 Linux默认用户是root 密码是刚刚自己设置的我的是12345...

要求获取出集群中每一台节点的如下信息： 主机名: ip: port: 节点容量: 很简单 就将FileSystem类型转换为DistributedFileSystem 一切就可以获得了 用户设置的话在idea加这句-DHADOOP_USER_NAME=root 或者在代码中加入System.setProperty("HADOOP_USER_NAME","root"); /** * 作者:Shis...

聚合日志：搜集每一个 container的log信息(较为细粒度的日志信息)，并可以移动到hdfs等文件系统中。适合用于追踪每个container的情况。 在yarn-site.xml文件增加如下配置 并分发到另外的机子上 重启集群 [root@hadoop01 ~]# scp /usr/local/hadoop-2.7.1/etc/hadoop/yarn-site.xml hadoop02:/u...

原文链接：https://blog.csdn.net/qq_34382453/article/details/83615000  理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就Scheduler。其实调度本身就是一个难题，很难找到一个完美的...