悍M!的专栏

这里没有贴出源码,有兴趣的可以debug跟踪然后根据我的源码描述,看懂hdfs是怎么下载文件的1.RPC机制接口代理：public interface Businesable{public static final long versionID= 10010;public String sayHello(String name);}versionID：代表服

1.首先官网下载最新稳定版hadoop tar.gz，解压到linux中2.配置hdfs2.1将hadoop添加到环境变量中vim/etc/profileexportJAVA_HOME=/usr/java/jdk1.7.0_55exportHADOOP_HOME=/itcast/hadoop-2.7.1exportPATH=$PATH:$JAVA_HOME/bin:$HAD

1.namenode简介2.namenode工作特点3.namenode工作原理3.1.切换edits产生一个新的edits文件3.2.获取数据：将fsimage与edits获取到，加载到内存（通过http协议）,fsimage保存最新的checkpoint（检查点）信息edits保存最新的检查点后的命名变化，也就是产生新的edi

1.使用A主机给B主机发送命令首先拥有两台主机，配置IP使其可以通信，ssh192.168.92.129 mkdir /20151020给192.168.92.129这台主机发送创建20151020目录的命令2.配置SSH免登陆cd~ ssh-keygen -t rsa:生成一对密钥，然后将公钥拷贝到免登陆的机器上ssh-copy-id192.168.92.129在

查看hdfs上的文件：hadoopfs -ls -R/-h / 查看文件内容：hadoopfs -cat（text也可以）/words下载文件：hadoopfs -get /words /root/mayun上传文件：hadoopfs -put /root/mayun /words，使用copyFromLocal与put功能相同，他是一个老接口appendToFile,将一

1.datanode原理2.datanode容错：DataNode以数据块作为容错单位，通常一个数据块会被复制到三个DataNode上去。一旦某个数据块访问失效，则去其他备份的机器上去读取。并且会把这个数据块再进行一次复制，以达到备份标准。也就是说，DataNode不是在机器级别上进行备份，而是在数据块级别上进行备份，这样就大大节省了机器数量。3.seconda

1.添加配置jps查看进程的时候，得到的进程名称就是类的名称，这个类并且有main方法需要在$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件的最后添加你想debug的进程#远程调试namenodeexportHADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,ser

1.mapreduce简介2.MapReduce的工作原理2.1 wordcount测试在执行wordcount时，首先将文件上传到hdfs上，运行jar开启Runjar进程，然后开启MRAppMaster进程，此进程管理任务，充当老大。然后再计算时由YarnChild进程计算，执行完则向MRAppMaster汇报，其中RunJar代表客户端进程，ResourceManager代表服务端进程，而Re