hadoop
文章平均质量分 80
archer.wu
当你的才华还撑不起你的野心的时候,就应该静下心来学习;当你的能力还驾驭不了你的目标时,就应该沉下心来,历练;梦想,不是浮躁,而是沉淀和积累,只有拼出来的美丽,没有等出来的辉煌,机会永远是留给最渴望的那个人,学会与内心深处的你对话,问问自己,想要怎样的人生,静心学习,耐心沉淀,送给自己,共勉。
展开
-
浅谈hadoop(四)——hadoop简介
浅谈hadoop(四)——hadoop简介本文翻译素材来自hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_ReplicationReplica Placement: The First Baby Steps翻译 2016-11-30 14:23:25 · 488 阅读 · 0 评论 -
浅谈Hadoop(一)——hadoop简介
浅谈Hadoop(一)——hadoop简介本文翻译取材来自hadoop官方文档:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Introduction简介hadoop分布式文件系统(hdfs)被设计成运行在普通硬件环境中的分布式文件系统。他和现有的一些分翻译 2016-11-28 11:09:53 · 1327 阅读 · 0 评论 -
Centos7搭建hadoop2.7
Centos7搭建hadoop2.7(原文地址http://www.open-open.com/lib/view/open1435761287778.html)总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs、mapreduce等主从关系。1、环境,3台CentOS7,64位,Hadoop2.7需要64位Linux,转载 2016-11-10 23:03:26 · 566 阅读 · 0 评论 -
浅谈Hadoop(二)——hadoop简介
浅谈Hadoop(二)——hadoop简介本文翻译来源hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#NameNode_and_DataNodesnamenode and datanodeshdfs采用master/slave的架构模型。翻译 2016-11-28 13:56:58 · 444 阅读 · 0 评论 -
浅谈hadoop(三)——hadoop简介
浅谈hadoop(三)——简介本文翻译来源hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#The_File_System_NamespaceThe file system namespacehdfs采用一种传统的等级的文件组织方式。用户或翻译 2016-11-28 15:42:40 · 475 阅读 · 0 评论 -
hadoop map reduce 中间的combiner的作用
hadoop map reduce 中间的combiner的作用首先简答的介绍一下mapreduce。mapreduce是hadoop的重要组成部分。hadoop由hdfs和mapreduce以及其他一些部分组成。这里的hdfs用来进行分布式存储,mapreduce用来进行大数据处理。mapreduce的过程简单说就是每个块分别进行map处理,把本次处理中关心的数据进行整理。整理后进行re原创 2016-12-15 22:20:40 · 1020 阅读 · 0 评论 -
hdfs ACL对文件夹实现权限访问控制
hdfs ACL对文件夹实现权限访问控制刚刚搭建好cdh后,在使用hdfs的基本指令的时候发现使用root用户权限不够。经过查找资料发现。root用户只是系统的超级管理员,但是不是hdfs的超级管理员。默认cdh安装后,超级管理原始hdfs。如下图:如果想让root能够在某个hdfs文件夹中具有权限,就需要使用hdfs dfs -setfacl的指令,具体可以参考官方的网址原创 2017-04-08 08:39:22 · 13577 阅读 · 0 评论 -
hadoop hdfs dfs基本操作
hadoop hdfs dfs基本操作本文主要参考:http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html根据上面官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据,对数据进行操作。那么首先让我们看一下hdfs的版本,使用命令h原创 2017-04-09 20:39:23 · 37026 阅读 · 0 评论 -
hadoop mapreduce详细过程分析
hadoop mapreduce详细过程分析hadoop在工业界目前已经是公认的大数据通用存储和分析平台。hadoop提供了一个可靠的共享存储和分析系统。hadoop最核心的两大部分hdfs和mapreduce。hdfs实现数据的存储,mapreduce实现数据的分析和处理。现在我来聊一聊mapreduce的基本过程。面对大量的数据,mapreduce采用如下的步骤来对数据进行分析和处理原创 2017-05-01 19:25:31 · 641 阅读 · 1 评论 -
hadoop2.7.3 ha 环境部署——QJM
hadoop2.7.3 ha 环境部署——QJM在部署完federal 集群之后(http://blog.csdn.net/wild46cat/article/details/53423472),再尝试部署ha集群。 ha是high availability的缩写。hadoop ha 集群解决了原来单个namenode出现故障后,整个集群需要其他节点中已经配置的secondaryna原创 2016-12-07 15:44:41 · 1472 阅读 · 0 评论 -
hadoop mapreduce wordcount编写
hadoop mapreduce wordcount编写上一篇文章尝试运行了一下wordcount程序(http://blog.csdn.net/wild46cat/article/details/53609378),现在准备采用java编写wordcount。一、创建maven程序mvn archetype:generate -DarchetypeCatalog=in原创 2016-12-13 15:00:11 · 832 阅读 · 0 评论 -
hadoop mapreduce hello world(wordcount)
hadoop mapreduce hello world(wordcount)hadoop中的mapreduce入门程序 wordcount,是使用mapreduce的第一步。首先看一下在现在的集群上运行一下mapreduce。在2.7.3的版本里example是在hadoop/share/hadoop/mapreduce文件夹下的hadoop-mapreduce-examples-2.7原创 2016-12-13 14:45:37 · 829 阅读 · 0 评论 -
浅谈hadoop(五)——hadoop简介 文件系统元数据的持久化
浅谈hadoop(五)——hadoop简介本文翻译素材来自hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_ReplicationThe Persistence of File System Metadata h翻译 2016-11-30 17:33:07 · 1751 阅读 · 0 评论 -
hadoop 配置Snapshot
hadoop 配置Snapshot本文主要参考hadoop官方文档:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html首先看一下hadopp中的目录配置hadoop的Snapshot的步骤:1、启用某个目录为允许Snapshot。hdfs原创 2016-12-01 12:02:43 · 1109 阅读 · 0 评论 -
hadoop hdfs多次format后如何处理
hadoop dfhs多次format后如何处理问题:集群跑起来后所有的参数都是0。1、查看namenode和datanode的文件夹在哪里。2、进入文件夹,找到一个叫做VERSION的文件。查找到文件中的这个clusterID字段需要保证当前正在使用的namenode和datanode中的clusterID是相同的。这样集群原创 2016-12-01 17:34:45 · 4090 阅读 · 0 评论 -
hadoop2.7.3在集群中配置多个namenode(federation cluster)
hadoop2.7.3在集群中配置多个namenode首先需要说明的是,在集群中配置多个namenode和在集群中使用secondaryNamenode是完完全全的两码事。具体是如何区分的,我之后会在写一篇haoop官方当中的译文,同时解释一下这两者的区别。在这里先简答的说一下。secondaryNamenode的作用是给namenode分担压力的,会定时的帮助namenode做一些处理。而配原创 2016-12-01 16:56:46 · 12372 阅读 · 2 评论 -
hadoop mapreduce 调试(system.out.println log4j)
hadoop mapreduce 调试(system.out.println log4j)本文主要介绍如何调试mapreduce。本文阅读前提:1、已经配置好hadoop集群。2、能够正常运行例如wordcount程序,如果还没有可以参考如下文章(http://blog.csdn.net/wild46cat/article/details/53609597)。下面上货。原创 2016-12-14 17:13:34 · 2973 阅读 · 0 评论 -
hadoop2.7.3 HA YARN 环境搭建
hadoop2.7.3 HA YARN 环境搭建本文主要参考:http://www.cnblogs.com/captainlucky/p/4654923.html本文实现前提:1、已经能够搭建hadoop HA集群,并且正常运行。如果还只是基本的hadoop的完全分布式集群,建议看一下关于hadoop HA hdfs环境搭建的文章:http://blog.csdn.原创 2016-12-09 15:22:59 · 4927 阅读 · 0 评论 -
hadoop 开启backup node
hadoop 开启backup node本片文章主要介绍如何开启backup node ,并且通过上传一个文件,进行演示backup node 的工作结果。本文默认前提:1、已经配置好一个hadoop集群。下面,上货。部署:首先在需要运行集群的机器上修改hdfs-site.xml。hdfs-site.xml文件中加入如下内容:原创 2016-12-04 23:09:36 · 1755 阅读 · 0 评论 -
hadoop mapreduce 程序调试日志合并查看shell
hadoop mapreduce 程序调试日志合并查看shell上一篇文章介绍了如何在web中查看日志并且进行调试。现在介绍一种通过shell方式进行处理调试信息。本文阅读前提:1、已经读完上一篇文章(http://blog.csdn.net/wild46cat/article/details/53641765),在本文中对重复的设置和运行不做说明。好,下面上货。原创 2016-12-14 23:40:50 · 1214 阅读 · 0 评论 -
kettle写入hadoop中——AccessControlException
本文主要介绍如何通过kettle写入到hdfs中,同时提供一个简单的demo。好,下面上货。1、新建一个转换,如下图:2、执行转换,查看结果: uuid;uuid2a2d5022e-0ace-4978-bc01-82a46025078f;515n2b280cij75cdf9c28-e587-43ea-a470-8653ebf4f635;1ccujkgiu3vdv1b...原创 2018-12-04 08:10:14 · 1360 阅读 · 0 评论