后知后觉的it路

  1 The number of live datanodes 2 has reached the minimum number 0 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot delete /tmp/hadoop...

   1 简介Hdfs federation实际是把多个hdfs集群统一到一个命名空间下。Hdfs federation 作用扩大NN容量，共享DN数据，且方便客户端访问。如何实现federation哪？使用client side mount table。 使用场景： a) 集群一部分对内使用，一部分对外开放 可以做成两个ha下的federation,第一个...

  1 zookeeper  -----> QuorumPeerMain   默认端口： 2181 客户端 2 storm ------> nimbus  supervisor 3 hadoop2 -----> NameNode SecondaryNameNode DataNode ResourceManager NodeManager      ...

    http://www.aboutyun.com/blog-61-62.html  

  0 mapreduce概述： ◆MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.MapReduce合并了两种经典函数：映射（Mapping）对集合里的每个目标应用同一个操作。即，如果你想把表单里每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping。化简（Reducing ...

   setupcleanupmaprun setup 在所有map方法运行之前执行cleanup 在所有map方法运行之后执行run 方法包括了 setup    cleanup   map 这三个方法run 是框架调用，   自定义的MyMapper类 在mapreduce环境会根据 MyMapperl.cass 反射产生MyMapper实例来...

  运行实例 请看链接 hbase java操作代码简介和NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguratio   最后部分加载hbase包那块， 后通过命令： hadoop>bin/hadoop classpath   出现classpath 打印hadoop的classpath和包或者...

   1 http://blog.csdn.net/shoubuliaolebu/article/details/44275897   YARN作业运行机制 2  http://my.oschina.net/u/1434348/blog/193374   YARN应用开发流程

   name valueDescription dfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小，需要设置一些，主要是给非hdfs文件使用，默认是不保留，0字...

    http://www.infoq.com/cn/articles/hadoop-ten-best-practice    

    http://www.tuicool.com/articles/BB3eArJ   

 0 准备文件 test 内容如下，中间用 \t间隔[root@hadoop3 ~]# cat test hello youhello me   1 找到如下路径hadoop2.5.2/share/hadoop/mapreduce:  位置下找到 example.jar   2 执行如下命令：[root@hadoop3 mapreduce]#...

   1 关于防火墙配置，ssh这里没有在讲述， 这里仅仅是讲述hadoop配置文件写法，启动命令等也没有描述  2 写法如下：  hadoop 简答分布式安装： 非ha版:a) 修改配置文件etc/hadoop/hadoop-env.shexport JAVA_HOME=/usr/local/jdk1.7 b) 修改配置文件etc...

 0 每一行执行一次map函数   每个组调用一次reduce函数 1 代码：  这里主要看main函数写法 注意和hadoop1写法不同处的对比  使用ant运行    运行集群参看: hadoop2 搭建自动切换的ha集群 yarn集群    注意 Mapper  Reducer类以及 map()  reduce() 方法对应的Context的包的引用     ...

 hdfs yarn 启动成功后访问的地址如下：http://h2master:50070/    hdfshttp://h2master:8088/cluster   yarn  0) 自动切换流程简介：FailoverController ActiveFailoverController Standby 分别作为zk集群在namenode集群的代理代理人感知到nam...

  0 ha简介： high availibility: 高可靠，有两个namenode节点在运行，一个是active状态 一个是standby状态，此两个namenode要保持内部数据一致性通过journalnode集群实现namenode内部数据一致性，active状态的namenode像journalnode集群写入数据，standby状态的namenode从journa...

  name table = fsimage ,  存放namonode中所有数据，运行时数据加载到内存中存放edits_inprogress 类似于LSM树中的Log，在向hdfs写的过程都向此文件存放，                 当存的数据到一定程度/或者定期间隔多久，会把此文件内容跟新到fsimage     刚开始写数据时会同时向namonode内存和edit中写，   ...

  eclipse创建maven项目后，在pom,xml中原来写法如下： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org...

    http://www.cstor.cn/textdetail_10211.html 根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理。 　　一、角色出演　　 　　如上图所示，HDFS存储相关角色与功能如下： 　　Client：客户端，系统使用者，调用HDFS API操作文件;与NN交...

    http://www.aboutyun.com/thread-6945-1-1.html    待整理 写的很好

  在命令行里执行hadoop mr时， 打印百分比时  ctrl +c是不一定就关闭这个任务的，应该用 hadoop job -list    hadoop job -kill jobid来杀死 hive>下执行hive sql跑任务  ctrl +c可以关闭掉  ...

    下面是自己编译hadoop源码， 然后将native库上传覆盖hadoop的过程  0 hadoop native库:在hadoop压缩时 调用此库文件的jni(.so)来调用linux系统的功能, 一般我们的linux机器都是64位，而官网下载的hadoop安装文件都是32位编译的，因此如果不在你本机编译的话，想使用hadoop压缩功能受限。...

  1 简介：        yarn架构：       资源： 运行程序需要的CPU,内存，磁盘，网络       resourceManager: 资源管理，只要需要资源我就协调，不管需要资源的应用是 mapreduce/storm/spark       applicationMaster: 应用管理, 只要是应用，不管是mapreduce...

  0 注意： hadoop2中 不识别 _ 如果你在hadoop2的配置文件中出现_ 会报错，可以改名成 h2single511-115  1 hadoop2下载地址： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.2/ 2 准备环境：a) 设置ip地址   这里设置为192.168.1.114b) ...

 0 简图：    1  命令所在位置：[root@h2single511-115 bin]# pwd/usr/local/hadoop2.4/bin  2 和hadoop1 shell的区别： hadoop1hadoop fs -ls /     其余写法类推hadoop2hdfs dfs -ls /        ...

   1 ant准备：a) ant安装在window环境下，并在lib下增加包： jsch-0.1.51.jar(没有此包,此包见附件 在hadoop2下回报错)b) 在window环境下运行会依赖很多hadoop2的环境，因此建议使用ant打包部署到hadoop2集群中打包运行c) 在window环境变量中 增加ant的配置路径 2 准备jar：下载hadoop-2....

    package hdfs;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class App1 {...

  hdfs为每一个用户创建一个回收站：目录： /user/用户名/.Trash/  每一个被用户通过shell删除的文件/目录在系统回收站中都有一个周期，周期过后hdfs会自动将这些数据彻底删除周期内 可以被用户恢复。 回收站样子如下：/user/用户名/.Trash/Current/文件eg:/user/root/.Trash/Current/mydir...

   http://developer.51cto.com/art/201401/426625.htm   http://www.cnblogs.com/yuechaotian/archive/2013/03/08/2949607.html   mr 内存设置 http://developer.51cto.com/art/201401/426625.htm ...