L缶神的博客

和上面的命令作用相同，相比于上面的命令更为推荐，并且当使用hadoop dfs时内部会被转为hdfs dfs命令。意思是说该命令可以用于其他文件系统，不止是hdfs文件系统内，也就是说该命令的使用范围更广。（9）将制定目录下的所有内容merge成一个文件，下载到本地。2、hadoop dfs常用命令。专门针对hdfs分布式文件系统。（2）上传文件或目录到hdfs。（10）使用du文件和目录大小。（11）将目录拷贝到本地。（12）查看dfs的情况。（4）创建一个空文件。

目录1. 集群的最主要瓶颈2. Hadoop运行模式3. Hadoop的组成4. block份数和大小默认配置5. HDFS读写数据流程（☆）6. 节点距离和机架感知（副本存储节点选择）（☆）7. Secondary NameNode8. 集群安全模式9. DataNode工作机制10. HDFS HA（☆）工作要点自动故障转移工作机制11. HDFS 防止脑裂问题（☆）12. Yarn HA（☆）13. Yarn 防止脑裂问题（☆）14. Hadoop序列化和反序列化介绍及不使用Java序列化的原因?15

安装与搭建1、上传安装包到master并解压tar -zxvf zookeeper-3.4.6.tar.gz这里所使用的zooKeeper-3.4.6的压缩包版本中可能没有zookeeper中的一些操作命令，建议安装zookeeper-3.5.7版本或者更新版本，里面会有更多的一些操作命令2、配置环境变量 vim /etc/profile进入到profile中添加以下内容: export ZOOKEEPER_HOME=/usr/local/soft/zookeeper...

目录一、HDFS概述1、概述：2、hdfs架构二、在idea中用Java连接HDFS1、上传文件：2、下载文件：3、重命名文件：4、删除文件：5、查看文件信息：6、查看文件是否为目录三、Hadoop组件介绍1、HDFS架构：2、Yarn架构：3、MapReduce架构：四、HDFS的读写流程1、HDFS的读流程2、HDFS的写流程数据备份：机架感知：五、NameNode工作流程六、DataNode工作流程一、H...

概述：Hadoop的三种运行模式：1.本地模式(学习) 1.没有HDFS,使用当前系统下的文件系统 2.没有YARN,使用的是Linux中的资源 3.使用了 Map-Reduce Framework2.伪分布式模式(学习) 1.只有单台机器 2.使用HDFS、Yarn、MapReduce3.分布式模式(企业级) 1.多台服务器 2.集群模式，包含整个Hadoop组件启动...

问题：我们在使用Hadoop时，如果发现这个问题：图中的Node显示为空的情况。原因:我们在第一次安装完Hadoop后已经格式化了，但后来我们再次登录又进行格式化，就会形成多次格式化导致这种情况的发生。在配置文件中保存的是第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。解决办法：1、进入Hadoop的安装目录，在进入logs目录，找到最新的一条日志文件2、进入这个日志文件3、复制红框信息4、...

基础配置1、关闭防火墙 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 查看防火墙状态 firewall-cmd --state systemctl status firewalld.service 启动防火墙 systemctl start firewalld.service2、修改主机名 第一种 hostnamectl se