企业级Hadoop 2.x入门
文章平均质量分 71
云帆大数据
博学、勤思、慎言、笃行
展开
-
企业级Hadoop 2.x入门系列之四HDFS文件系统和YARN资源管理框架简介
3. HDFS架构简介u NameNode是主节点,存储文件的元数据如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在DataNode等。u DataNode 在本地文件系统存储文件块数据,以及块数据的校验和。u Secondary NameNode 用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快原创 2014-12-31 12:16:12 · 834 阅读 · 0 评论 -
企业级Hadoop 2.x入门系列之二Hadoop 2.2.0源码编译
2.1下载地址1、ApacheHadoop(100%永久开源)下载地址:- http://hadoop.apache.org/releases.html - SVN:http://svn.apache.org/repos/asf/hadoop/common/branches/2、CDH(ClouderaDistributed Hadoop,100%永久开源)下载地址:原创 2014-12-30 12:39:44 · 2037 阅读 · 0 评论 -
企业级Hadoop 2.x入门系列之六HDFS的Shell操作与管理
HDFS的Shell操作与管理6.1启动HDFSStep01:格式化NameNode[hadoop@hadoop-yarn hadoop-2.2.0]$ bin/hdfsnamenode –format说明:namenode在格式化的时候会产生一个ClusterID。也可以在格式化的时候自定义指定ID:bin/hdfsnamenode –format –cluste原创 2015-01-02 14:26:41 · 897 阅读 · 0 评论 -
企业级Hadoop 2.x入门系列之七YARN的Shell操作与管理
YARN的Shell操作与管理7.1启动YARNYARN有2个守护线程:ResourceManager、NodeManager。[hadoop@localhost hadoop-2.2.0]$sbin/yarn-daemon.sh start resourcemanager[hadoop@localhost hadoop-2.2.0]$sbin/yarn-daemon.sh s原创 2015-01-02 14:28:37 · 939 阅读 · 0 评论 -
企业级Hadoop 2.x入门系列之八HDFS和YARN的启动方式
HDFS和YARN的启动方式8.1三种启动方式介绍Ü 方式一:逐一启动(实际生产环境中的启动方式) hadoop-daemon.shyarn-daemon.shÜ 方式二:分开启动 start-dfs.shstart-yarn.shÜ 方式三:一起启动 start-all.sh8.2脚本解读start-dfs.sh脚本:原创 2015-01-02 14:32:17 · 1642 阅读 · 0 评论 -
企业级Hadoop 2.x入门系列之十二入门视频分享
网上流传飞非常好的《Hadoop 2.x入门学习视频》,在此将网盘下载地址分享给大家课程相关【软件与工具】: 链接:http://pan.baidu.com/s/1hqEGFQk 密码:b4sh第一次课程: 链接:http://pan.baidu.com/s/1bnetfZL 密码:92cb第二次课程: 链接:http://pan.baidu.com/s/原创 2015-01-03 12:07:37 · 2784 阅读 · 1 评论 -
企业级Hadoop 2.x入门系列之九Hadoop核心配置文件的默认配置解读
Hadoop核心配置文件的默认配置解读9.1 默认配置文件4个核心的默认配置文件在$HADOOP_HOME/share/hadoop/目录下:hadoop-2.2.0\share\hadoop\common\hadoop-common-2.2.0.jar\core-default.xmlhadoop-2.2.0\share\hadoop\hdfs\hadoop-hdfs-2.2.0原创 2015-01-03 11:59:17 · 2194 阅读 · 0 评论 -
企业级Hadoop 2.x入门系列之十MapReduce 程序相关日志
MapReduce 程序相关日志u MapReduce 程序日志分为历史作业日志和Container日志。u 历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。u Container日志包含原创 2015-01-03 12:01:39 · 739 阅读 · 0 评论 -
企业级Hadoop 2.x入门系列之一Apache Hadoop 2.x简介与版本
1.1 Hadoop简介从Hadoop官网获得Hadoop的介绍:http://hadoop.apache.org/(1)What Is Apache Hadoop?TheApache™ Hadoop® project develops open-source software for reliable,scalable, distributedcomputing.TheA原创 2014-12-29 12:06:42 · 1991 阅读 · 0 评论 -
企业级Hadoop 2.x入门系列之三将Hadoop 2.x源码导入Eclipse中
2.5 Eclipse导入源码Step1:使用Maven构建Eclipse项目官方说明:Importing projects to eclipse When you import the project to eclipse, installhadoop-maven-plugins at first. $ cd hadoop-maven-plugins $ mv原创 2014-12-31 12:10:35 · 1072 阅读 · 0 评论 -
企业级Hadoop 2.x入门系列之五Hadoop2.2 伪分布式安装
Step01:设置hadoop用户无密码sudo权限root用户登录:[root@localhost/]# cd /etc[root@localhostetc]# chmod u+w /etc/sudoers[root@localhostetc]# vim /etc/sudoers在首行添加内容如下:hadoopALL=(root)NOPASSWD:ALL原创 2014-12-31 12:18:08 · 875 阅读 · 0 评论 -
企业级Hadoop 2.x入门系列之十一MapReduce Uber 模式
Uber 模式是 Hadoop 2.X 中实现的一种针对MR小作业的优化机制。即如果作业足够小,则所有task在一个jvm(mr app master)中完成要比为每个task启动一个container更划算。当在运行作业的时候会有这样的提示: Jobjob_1404960815149_0001 running in uber mode : false说明默认情况原创 2015-01-03 12:02:38 · 1438 阅读 · 0 评论