![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
yangfeiblog
Full Stack Developer
展开
-
Hadoop笔试/面试题
该试题来自董成西汇总1、MapReduce中排序发生在哪几个阶段??这些排序是否可以避免,为什么??答:一个MapReduce作业由Map阶段和Reduce阶段两部分组成,这两阶段会对数据排序,从这个意义上说,MapReduce框架本质就是一个Distributed Sort。在Map阶段,在Map阶段,Map Task会在本地磁盘输出一个按照key排序(采用的是快速排序)的文件(中间可能原创 2013-11-05 22:13:17 · 2915 阅读 · 1 评论 -
MapReduce编程实例(一)-求平均数
开始学习写一些MR编程实例,工作中即将使用(刚刚开始,如果有错误和建议,欢迎指出)现在有一个文件,里面记录了全校所有学生各科成绩,求每个学生的平均成绩,格式如下小明 语文 92小明 数学 88小明 英语 90小强 语文 76小强 数学 66小强 英语 80小木 语文 60小木 数学 65小木 英语 61解决思路Map阶段先将数据拆成k原创 2014-03-10 12:00:08 · 2690 阅读 · 4 评论 -
MapReduce编程实例(二)-MR2操作MySQL
MR2中如果需要从数据库中读取或者写入数据,需要自己实现Writable和DBWritable两个接口,同时还需在DBConfiguration对数据库的元信息做相应配置。下面这个例子是Hadoop自带的,只是将数据库改为MySQL,在执行之前需要将Java连接MySQL的驱动上传到每台机器的${HADOOP_HOME}/share/hadoop/common路径下这里需要说明两点:1原创 2014-03-18 17:29:00 · 1248 阅读 · 0 评论 -
Hive创建TABLE_PARAMS表失败
今天,通过HiveMetaStoreClient查询Hive的表信息,原创 2014-05-20 15:30:18 · 2816 阅读 · 0 评论 -
Hadoop源码导入Eclipse
需要进一步学习hadoop、需要看看内部源码实现,因此需要将hadoop源码导入都eclipse中,简单总结一下,具体步骤如下:首先确保已经安装了git、maven3、protobuf2.5、如果没有安装需要提前安装一下1、下载hadoop源码git clone git://git.apache.org/hadoop-common.git2、进入hadoop-common目录,原创 2014-07-04 17:03:22 · 2889 阅读 · 1 评论 -
Hadoop 开源调度系统zeus(一)
大数据分析中,经常使用Hadoop来做离线原创 2014-05-23 20:44:50 · 9076 阅读 · 4 评论 -
Hadoop 开源调度系统zeus(二)
紧跟之前Hadoop 开源调度系统zeus(一)本节主要介绍一下原创 2014-06-22 18:41:42 · 3051 阅读 · 4 评论 -
yarn内存配置指南
yarn中需要配置很多内存,比如原创 2014-07-14 19:24:03 · 5037 阅读 · 1 评论 -
Zookeeper原理与实战
目录Zookeeper简介ZooKeeper安装Curator常用API及其原理Zookeeper在PtBalancer中的应用演讲文档原创 2014-09-10 14:22:12 · 1808 阅读 · 0 评论 -
对HBase的一些个人看法
HBase是Google Big Table的一个开源实现,关于其基础和架构网上很多,这里就不一一说明,转一篇,这里主要谈谈我个人对Hbase的看法1、查询:都知道HBase查询快,因为其实基于内存查询,Hbase在写入的时候,优先写入MemStore,这个MemStore就是内存了,查询的时候也就是从内存中返回,所以从这个方面Hbase可以理解为一个分布式缓存,跟平时的缓存没有差别原创 2015-03-07 17:36:02 · 1379 阅读 · 0 评论 -
图文详解Apache Ambari 1.4.4安装
Apache Ambari 1.4.4安装指南操作系统:CentOS6集群机器列表:hadoop.master.com(192.168.1.204)hadoop.slave1.com(192.168.1.205)hadoop. slave2.com(192.168.1.206)ambari server安装节点及用户hadoop.master.com/root前原创 2014-03-14 17:00:10 · 2744 阅读 · 0 评论 -
Hadoop2中的日志
日志是定位问题最重要的手段,hadoop2中的日志主要有三类:系统日志;应用日志(Job);标准输出系统日志系统日志指各个组件打印的日志,如resourcemanager、namenode等,系统日志默认在${HADOOP_HOME}/logs目录下,格式为hadoop-username-service.log或者yarn-username-service.log,这个比较简单,很容易在找原创 2014-03-11 20:32:43 · 2303 阅读 · 0 评论 -
Hadoop学习笔记一
1、HDFS的常用操作 hadoop dfs -ls 列出HDFS下的文件 hadoop dfs -ls in 列出HDFS下某个文档中的文件 hadoop dfs -put test1.txt test 上传文件到指定目录并且重新命名,只有所有的DataNode都接收完数据才算成功 hadoop dfs -get in getin 从HDFS获取文原创 2013-11-13 21:28:58 · 964 阅读 · 0 评论 -
hadoop问题汇总
仅总结一下在使用hadoop中遇到的问题已经解决方法问题1:java.io.IOException: Incompatible namespaceIDs in /home/hadoop/data/hdfs/data1: namenode namespaceID = 635210663; datanode namespaceID = 1225500221解决方法:先停掉集群,原创 2013-11-14 11:42:49 · 1363 阅读 · 1 评论 -
研磨Hadoop源码(二)-yarn-ClientToAMTokenSecretManagerInRM
由于hadoop2中最大,也炒的比较火的就是yarn,所以先看看yarn,关于yarn是什么东西或者架构,这里就不做详细说明,网上随便一搜就有了,给一个yarn的整体架构图从上图可知,yarn里面最主要的Resource Manager(很不幸,又一个单点),所以我们从ResourceManager开始,今天先分析ResourceManager的第一个成员ClientToAMToken原创 2013-12-23 20:33:51 · 3019 阅读 · 0 评论 -
研磨Hadoop源码(一)
hadoop源码分析系列说明一直想看看Hadoop的源码,之前虽然看了一点点,但是也没有在大脑(内存)中的信息保存到笔记(硬盘)中,所以在近期开始认真研读Hadoop源码,并将自己的理解记录下来。选择的hadoop版本为apache hadoop2.2,所有的文章都是自己的理解,如果有错误或者讲解不清楚的地方,或许逐步修改。当然如果有大拿能够指出不足之处,衷心感谢原创 2013-12-23 20:07:25 · 1050 阅读 · 0 评论 -
研磨Hadoop源码(三)-yarn-RMContainerTokenSecretManager
ResourceManager的另一个重要成员:该类主要定时生成ResourceManager容器的密匙,NodeManager定期上来更新,以保证每个NodeManager都是活的并且都是系统安全识别的NodeManager,其主要逻辑public void start() { rollMasterKey(); this.timer.scheduleAtFixedRate(n原创 2013-12-23 21:13:57 · 1002 阅读 · 0 评论 -
研磨Hadoop源码(四)Hadoop Rack Awareness(机架感知)
今天跟小伙伴讨论一下hadoop的机架感知机会,又去刨了一下hadoop源码,初略的知道了hadoop机架感知实现 首先我们都知道hadoop默认会将数据存储三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从跨机架节点上拿数据要快;同时,如果整个机架的网络出现异常,也能保证在其它机架原创 2013-12-27 17:26:00 · 1814 阅读 · 0 评论 -
研磨Hadoop源码(五)ResourceManager启动分析1
之前分析的估计过于细了,从这篇开始,分析一下ResourceManager的起点过程,这是第一篇,先分析一下shell部分1、起点hadoop最简单的方式是执行$HADOOP_HOME/sbin/start-all.sh,在hadoop2中,该脚本实际已经被start-dfs.sh和start-yarn.sh所代替,所以执行之后会打印"This script is Deprecated.原创 2014-01-22 21:22:06 · 2022 阅读 · 1 评论 -
Hadoop学习笔记二
1、Job的状态及状态转换:job总共有5种状态(PREP、RUNNING、SUCCEEDED、FAILED、KILLED),其转换及其对应的事件PREP -> RUNNING:作业的Setup Task(job-setup Task)成功执行完成PREP -> FAILED/KILLED:人为使用Shell命令杀死作业,即bin/hadoop job [-kill|-fail原创 2013-11-23 18:35:35 · 1144 阅读 · 0 评论 -
研磨Hadoop源码(六)ResourceManager启动分析2
紧接上一篇http://blog.csdn.net/yangfei001/article/details/18674357这里主要从源码分析一下ResourceManager的main方法主要做了哪些事情:main方法中,主要就是下面这段代码//获取配置信息Configuration conf = new YarnConfiguration();//实例化一个资源管理器Res原创 2014-02-26 18:53:08 · 1325 阅读 · 0 评论 -
Apache Drill1.0安装
Apache Drill已经关注一段时间了,之前一直在孵化器中,现在终于发布了第一个正式版本,其实现主要参考了Google Dremel。Drill 是Apache开源的一个大数据查询引擎,设计用于支持大数据应用快速查询半结构数据和不规则数据,其提供了ANSI SQL,同时内置了Apache Hive和Apache HBase插件。在大数据处理方面,其提供了一直新的解决方案。目前虽未对其原创 2015-05-21 19:54:39 · 1436 阅读 · 0 评论