技术文章翻译
dataee
解决方案咨询
大数据处理
系统架构
展开
-
“Maven官方用户入门指南”翻译之二
如何构建第一maven工程? 我们现在开始创建第一个自己的maven工程!我们将使用maven的创建向导,构建第一个maven工程。原型定义为:一组事物所表现出来的共性。在maven中,原型是一个满足客户需求创建的maven工程模板。我们现在开始去了解创建向导的工作机制,如果你想了解更多关于原型相关的信息,请参看"原型介绍" 继续创建第一个maven工程,执行...2013-11-06 15:38:59 · 113 阅读 · 0 评论 -
[YARN]Apache Hadoop 2.2.0YARN技术架构[翻译]
YARN架构MapReduce在Hadoop0.23的时候做了很大的改动,我们称之为MRv2或者YARN。MRv2的主要观点是把JobTracker,资源管理,任务调度执行功能拆分成几个独立的进程。也就是说有一个全局的RM和AM,一个应用程序是一个独立的job或者一组job。ResourceManager ,每个从节点,NodeManager 组成了一个数据计算框架,Resource...2013-11-28 17:47:16 · 85 阅读 · 0 评论 -
[MapReduce]Apache Hadoop 2.2.0MapReduce1.x向2.x迁移[翻译]
介绍此文档为用户把mr应用从1.x迁移到2.x上提供说明。在hadoop的2.x中我们引入了一个资源管理器,一个分布式应用的管理框架,同时MRv2仍然是一个纯净的分布式计算框架。总的来讲,以前的MR应用(MRv1)仍然支持不需要做任何修改。因此MRv2仍然大部分支持MRv1的应用,不过仍然需要代码改进和重构,一些api将被不推荐使用。余下部分将会讨论MRv2的向后兼容能力。二...2013-11-28 16:29:39 · 96 阅读 · 0 评论 -
[综合]Apache Hadoop 2.2.0文件系统shell(二)[翻译]
cp用法:hdfs dfs -cp [-f] URI [URI ...] <dest>从源文件拷贝到目标文件,支持多源文件操作不过目标需要是目录。-f选项如果目标存在就会覆盖。如:hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2hdfs dfs -cp /user/hadoop/file1 /user/hadoo...2013-11-27 19:37:57 · 92 阅读 · 0 评论 -
[综合]Apache Hadoop 2.2.0文件系统shell(一)[翻译]
概述文件系统shell包括各种跟shell类似的命令来跟hdfs交互,同时也支持其他的hadoop支持的文件系统如:本地FS, HFTP FS, S3 FS等,shell命令调用方式如下: bin/hadoop fs <args>所有的命令文件路径都作为参数传入,文件路径的格式如 scheme://authority/path。对于hdfs而言scheme为hdfs,...2013-11-26 22:33:13 · 89 阅读 · 0 评论 -
[综合]Apache Hadoop 2.2.0命令行参考手册[翻译]
概述所有的hadoop命令都是有 bin/hadoop调用执行的,执行hadoop脚本没有任何参数的时候他会输出所有命令的描述信息。用法:hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]hadoop有个输入选项解析框架可以利用在运行class的时候来解析参数COMMAND_OPTIO...2013-11-22 16:56:04 · 88 阅读 · 0 评论 -
[综合]Apache Hadoop 2.2.0集群安装(2)[翻译]
NodeManager节点健康监控hadoop提供一个检测一个节点健康状态的机制,那就是管理员可以配置NodeManager去周期性执行一个脚本。管理员可以在这个脚本中做任何的状态监控从而决定此节点是否健康。如果某节点不健康了,那么他们会有一个标准的错误输出,NodeManager的脚本周期性检测输出,如果节点输出中包含了ERROR字符串,那么此节点会被上报为unhealthy ,并且此...2013-11-21 16:14:01 · 112 阅读 · 0 评论 -
[综合]Apache Hadoop 2.2.0集群安装(1)[翻译]
用途此文档描述了如何安装、配置和维护一个重大集群从几个节点到上千节点。初次接触hadoop建议先从单节点集群开始。 前提从Apache 上下载了稳定的版本。 安装安装hadoop集群通常需要在所有的节点上解压软件或者prm安装。通常集群中的某一个节点被当做NameNode,其他节点作为ResourceManager,这些是主控节点。其他节点被当做DataNod...2013-11-21 12:27:35 · 105 阅读 · 0 评论 -
[综合]Apache Hadoop 2.2.0单节点集群安装[翻译]
Mapreduce Tarball你需要有MapReduce tarball,如果没有的话那么你需要从源文件中创建一个,执行命令如下:$ mvn clean install -DskipTests$ cd hadoop-mapreduce-project$ mvn clean install assembly:assembly -Pnative注意:你需要安装protoc ...2013-11-20 17:14:46 · 70 阅读 · 0 评论 -
[综合]Apache Hadoop 2.2.0概要[翻译]
Apache Hadoop 2.2.0apache hadoop2.20版本较比以前以前稳定版本(hadoop-1.x)有显著改进此处简要针对hdfs和MapReduce的改进说明如下: HDFS联盟为了水平扩展命名服务,联盟采用了多重无依赖的Namenode和Namespace。namenodes是联合在一起的,每个namenode相互独立不需要跟其他的namenode进...2013-11-20 11:20:06 · 76 阅读 · 0 评论 -
Maven官方用户入门指南”翻译之八(完)
如何创建api帮助手册?现在我们就开始生成maven工程的系统文档,你可以利用maven的项目创建向导执行如下命令为你已存在工程生成系统文档: mvn archetype:generate \ -DarchetypeGroupId=org.apache.maven.archetypes \ -DarchetypeArtifactId=maven-archetype-sit...2013-11-14 08:34:12 · 243 阅读 · 0 评论 -
“Maven官方用户入门指南”翻译之七
如何使用外部依赖?例子中有可能已经有dependencies元素了。实际上你会随时使用到外部的依赖资源,这边我们会谈论下他们是如何工作的。更详细的介绍请参考我们的依赖机制介绍。pom文件的dependencies 片段中列出了所有的项目依赖,包括编译,运行,测试等用到的。目前我们的项目只依赖JUnit ,其他资源相关信息拿掉之后如下: <project xmlns="htt...2013-11-11 15:17:51 · 106 阅读 · 0 评论 -
“Maven官方用户入门指南”翻译之六
如何过滤资源文件?有时候资源文件中某一个属性值需要在构建时才指定。在maven中这个是通过在一个资源属性文件中引入 ${<property name>},,这个属性可以在pom文件中、settings.xml中、自定义属性文件或者一个系统属性。在maven中构建拷贝资源文件的时候只需要在pom文件中对指定的资源目录设置filtering 为true即可: <pr...2013-11-11 13:19:21 · 89 阅读 · 0 评论 -
“Maven官方用户入门指南”翻译之五
如何往jar中添加资源文件?另外一个常见需求就是在不修改pom文件的前提下在打包的时候把资源文件打进去。针对这个需求maven又一次基于标准目录结构,也就是说基于这个公约你可以在打包的时候很容易的打进去。在上述例子中我们增加了${basedir}/src/main/resources目录来放置一些希望打包打进去的资源文件。maven的规则是任何在${basedir}/src/main/r...2013-11-10 22:55:38 · 82 阅读 · 0 评论 -
“Maven官方用户入门指南”翻译之四
如何打包jar并发布到本地资源库上?执行如下命令可以直接创建一个jarmvn package看一下pom文件你可以注意到packaging元素的值已经设置成jar,这也就是为什么maven执行上述命令可以创建jar文件(关于这个后面还会说更多)。现在到${basedir}/target 这个目录下你可以看到刚才生成的jar文件。如果你打算安装此生成文件到本地资源库(默认本地路径为...2013-11-07 14:53:15 · 81 阅读 · 0 评论 -
“Maven官方用户入门指南”翻译之三
如何编译源文件?进入pom.xml所在的目录,然后执行如下命令去编译你的源文件:mvn compile执行时将会输出如下信息:[INFO] ----------------------------------------------------------------------------[INFO] Building Maven Quick Start Archetype...2013-11-06 16:26:40 · 131 阅读 · 0 评论 -
“Maven官方用户入门指南”翻译之一
概述:翻译官方用户指南,指南地址:http://maven.apache.org/guides/getting-started/index.html详情如下: 此指南是为初次使用者或普通用户作为指导手册而准备。对于初次使用者推荐采用顺序方式阅读,对于普通用户而言更好的是一本指导手册。假定你已经下载并安装了maven,如果你还没有安装那么请参考"下载安装"。 现...2013-11-05 13:51:02 · 142 阅读 · 0 评论