victory_gwb的专栏

HDFS API文件上传,fs.default.name配置的关键性转连接http://www.codeweblog.com/hdfs-api%E6%96%87%E4%BB%B6%E4%B8%8A%E4%BC%A0-fs-default-name%E9%85%8D%E7%BD%AE%E7%9A%84%E5%85%B3%E9%94%AE%E6%80%A7/

hadoop版本2.7.2主要原因：yarn-site.xml配置问题：    每个nodemanager上可以用的内存大小Amount of physical memory, in MB, that can be allocated for containers. 注意：我的NM虚拟机是1G内存，1核CPU，当该值配置小于1024时，NM是

本人采用三台虚拟机搭建hadoop环境，其中在/etc/hosts文件中的配置为主机Ip1 hadoop1（用作master）主机Ip2 hadoop2（用作slave）主机Ip3 hadoop3（用作slave）搭建过程：1、创建hadoop用户（1）、搭建集群的时候，最好在统一用户下操作，包括hadoop问价夹的位置，java环境变量的位置等，在一台机器部署好了基本环境

最近在启动hadoop时候，发现slave节点的datanode没有启动（slave节点中使用jps命令未发现DataNode进程），然后执行stop-all.sh时候，发现no datanode to stop，后来查找原因，发现是由于多次执行hadoop/bin目录下的hdfs namenode -format原因造成的，多次格式化造成namespaceID不一致，解决方案有两种1、修改s