liyongke89的专栏

情景一：当在win7下面的eclipse装好插件，首次运行M/R程序的时候，想把文件从win7下面的本地文件传到HDFS文件系统上面：（点击Upload files to DFS 或者其他） 会遇到一个提示，如下： 然后点击OK，就可以了， 然后你的文件就没有传上去！！！情景二：我们即使自己手动在将linux本地的文件传到HDFS中区以后，配

https://www.cnblogs.com/mtime2004/p/9996413.htmlHadoop是什么？Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。Had...

https://blog.csdn.net/bbaiggey/article/details/53574468大数据处理离不开hadoop集群的部署和管理，对于本来硬件资源就不多的创业团队来说，做好资源的共享和隔离是很有必要的，毕竟不像BAT那么豪，那么怎么样能把有限的节点同时分享给多组用户使用而且互不影响呢，我们来研究一下yarn多队列做资源隔离请尊重原创，转载请注明来源网站www.sh...

http://www.aboutyun.com/thread-6756-1-1.html本帖最后由 howtodown 于 2014-1-31 16:00 编辑 整体架构 MRAppMaster是MapReduce的ApplicationMaster实现，它使得MapReduce计算框架可以运行于YARN之上。在YARN中，MRAppMaster负责管理MapReduc...

YARN是什么全称 Yet Another Resource Negotiator，是一套全新的任务调度与资源管理框架，是 Hadoop 2（当前我们使用的Hadoop版本）的关键组件之一。不同于 Hadoop 1，YARN 不仅支持 MapReduce，还支持各种计算引擎，是一个通用的资源管理器。YARN架构及工作机制下面介绍一下 YARN 的架构以及它是如何工作的。架构搬一张...

关于Yarn的详细介绍请参考【Hadoop Yarn详解】一、相关配置情况关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/reduce task的容器，后面有详细介绍。1.1 RM的内存资...

https://www.cnblogs.com/qingyunzong/p/8615024.html讨论QQ：1586558083目录概述 MapReduce的Shuffle过程介绍 Spill过程 Sort Spill Merge Copy Merge Sort 正文回到顶部概述1、MapReduce 中，mapper 阶段处理的数据...

1 概述HDFS中的NameNode被称为元数据节点DataNode称为数据节点。NameNode维护了文件与数据块的映射表以及数据块与数据节点的映射表，而真正的数据是存储在DataNode上。对于NameNode如何存储这些信息，它维护两个文件，一个是fsimage，一个是editlog。2 fsimage与editlog作用fsimage保存了最新的元数据检查点，在HDFS启...

最近在使用ambari安装大数据进群，在进行添加新主机时ambari-agent的日志中出现 Registering with localhost 导致在ambari-server的界面中出现Registering with server failed，后来经过在网上找了好多答案文能解决，特此将解决方法记录下。前提：新添加的主机已经和ambari-server已经做过了免密码登陆，并且通过ss...

https://blog.csdn.net/azhao_dn/article/details/7741666 在线上的hadoop集群运维过程中，hadoop 的balance工具通常用于平衡hadoop集群中各datanode中的文件块分布，以避免出现部分datanode磁盘占用率高的问题（这问题也很有可能导致该节点CPU使用率较其他服务器高）。     1） hadoop balanc...

最近在使用ambari hdp 2.6.3版本，过程中提交spark程序时报如下错误：YarnSchedulerBackend$YarnSchedulerEndpoint: Container marked as failed exit code 1看了官方的解释，链接如下，大概意思是说你在提交spark任务时的contanier的内存总大小(每个excutor个数乘上每个excutor的...

原文地址：http://blog.csdn.net/cheersu/article/details/8080162如下图，Hadoop访问控制分为两级，其中ServiceLevel Authorization为系统级，用于控制是否可以访问指定的服务，例如用户/组是否可以向集群提交Job，它是最基础的访问控制，优先于文件权限和mapred队列权限验证。Access Control o

hadoop官方提供的中文教程

原文地址:http://langyu.iteye.com/blog/992916?page=3#comments/** * author : 冶秀刚 * mail     : dennyy99@gmail.com */         Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过

原文地址：http://blog.csdn.net/wanmeilingdu/article/details/51447290版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]一、基础环境准备a. 配置好各个机器的IP地址等，我这边是三台虚拟机，列表如下： master 192.168.149.131 c

转自：http://blog.csdn.net/weixuehao/article/details/16967485简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点：

原文地址：http://geek.csdn.net/news/detail/65738声明：本文为CSDN原创投稿文章，未经许可，禁止任何形式的转载。 作者：周立伟，京东商城高级工程师，关注分布式、高并发和Java中间件的研究。 责编：钱曙光，关注架构和算法领域，寻求报道或者投稿请发邮件qianshg@csdn.net，另有「CSDN 高级架构师群」，内有诸多知名互联网公司的大牛架构师

先说说,场景,在开发环境中,由于意外断电.重新启动HADOOP MASTER 结点.启动HADOOP START-ALL.SH grid$ start-all.sh查看http:\\hdnode1m:50070\ 无法打开网页, HADOOP 启动失败,回过头去看日志文件。打开 ${hadoop_home}\logs\hadoop-grid-nameno

.YARN：资源调度平台YARN参数解读与调优yarn-site.xml文件默认参数：http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml参数 默认值 说明 yarn.resourcemanager.address ${yarn...