- 博客(27)
- 资源 (28)
- 收藏
- 关注
RSS订阅[YARN]Apache Hadoop 2.2.0YARN技术架构[翻译]
YARN架构MapReduce在Hadoop0.23的时候做了很大的改动，我们称之为MRv2或者YARN。MRv2的主要观点是把JobTracker，资源管理，任务调度执行功能拆分成几个独立的进程。也就是说有一个全局的RM和AM，一个应用程序是一个独立的job或者一组job。ResourceManager ，每个从节点，NodeManager 组成了一个数据计算框架，Resource...
2013-11-28 17:47:16
85
[MapReduce]Apache Hadoop 2.2.0MapReduce1.x向2.x迁移[翻译]
介绍此文档为用户把mr应用从1.x迁移到2.x上提供说明。在hadoop的2.x中我们引入了一个资源管理器，一个分布式应用的管理框架，同时MRv2仍然是一个纯净的分布式计算框架。总的来讲，以前的MR应用(MRv1)仍然支持不需要做任何修改。因此MRv2仍然大部分支持MRv1的应用，不过仍然需要代码改进和重构，一些api将被不推荐使用。余下部分将会讨论MRv2的向后兼容能力。二...
2013-11-28 16:29:39
97
[综合]Apache Hadoop 2.2.0文件系统shell(二)[翻译]
cp用法：hdfs dfs -cp [-f] URI [URI ...] <dest>从源文件拷贝到目标文件，支持多源文件操作不过目标需要是目录。-f选项如果目标存在就会覆盖。如：hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2hdfs dfs -cp /user/hadoop/file1 /user/hadoo...
2013-11-27 19:37:57
93
[综合]Apache Hadoop 2.2.0文件系统shell(一)[翻译]
概述文件系统shell包括各种跟shell类似的命令来跟hdfs交互，同时也支持其他的hadoop支持的文件系统如：本地FS， HFTP FS, S3 FS等，shell命令调用方式如下： bin/hadoop fs <args>所有的命令文件路径都作为参数传入，文件路径的格式如 scheme://authority/path。对于hdfs而言scheme为hdfs，...
2013-11-26 22:33:13
89
shell后台程序运行方式概述
shell后台基于nohup启动方式：nohup 程序 &此时的log名称为nohup.out然后可以通过tail查看执行信息：tail -f nohup.out可以通过jobs来查看后台启动的所有程序命令如下：jobs同时可以通过linux重定向的方式把log输出到自定义的文件里去标准输出和错误输出描述符如下：------------------...
2013-11-26 21:25:35
89
[综合]Apache Hadoop 2.2.0命令行参考手册[翻译]
概述所有的hadoop命令都是有 bin/hadoop调用执行的，执行hadoop脚本没有任何参数的时候他会输出所有命令的描述信息。用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]hadoop有个输入选项解析框架可以利用在运行class的时候来解析参数COMMAND_OPTIO...
2013-11-22 16:56:04
88
Hadoop对输入路径的过滤问题解决方式
需求：数据格式如下：/data/input/news/old.dat/data/input/news/current.dat/data/input/news/20131001.txt....../data/input/news/20131030.txt/data/input/news/20131031.txt我们需要计算分析10月份的新闻，其他的暂时不计算，那么就...
2013-11-22 15:26:12
263
[综合]Apache Hadoop 2.2.0集群安装(2)[翻译]
NodeManager节点健康监控hadoop提供一个检测一个节点健康状态的机制，那就是管理员可以配置NodeManager去周期性执行一个脚本。管理员可以在这个脚本中做任何的状态监控从而决定此节点是否健康。如果某节点不健康了，那么他们会有一个标准的错误输出，NodeManager的脚本周期性检测输出，如果节点输出中包含了ERROR字符串，那么此节点会被上报为unhealthy ，并且此...
2013-11-21 16:14:01
112
[综合]Apache Hadoop 2.2.0集群安装(1)[翻译]
用途此文档描述了如何安装、配置和维护一个重大集群从几个节点到上千节点。初次接触hadoop建议先从单节点集群开始。 前提从Apache 上下载了稳定的版本。 安装安装hadoop集群通常需要在所有的节点上解压软件或者prm安装。通常集群中的某一个节点被当做NameNode,其他节点作为ResourceManager，这些是主控节点。其他节点被当做DataNod...
2013-11-21 12:27:35
105
[综合]Apache Hadoop 2.2.0单节点集群安装[翻译]
Mapreduce Tarball你需要有MapReduce tarball，如果没有的话那么你需要从源文件中创建一个，执行命令如下：$ mvn clean install -DskipTests$ cd hadoop-mapreduce-project$ mvn clean install assembly:assembly -Pnative注意：你需要安装protoc ...
2013-11-20 17:14:46
70
[综合]Apache Hadoop 2.2.0概要[翻译]
Apache Hadoop 2.2.0apache hadoop2.20版本较比以前以前稳定版本(hadoop-1.x)有显著改进此处简要针对hdfs和MapReduce的改进说明如下： HDFS联盟为了水平扩展命名服务，联盟采用了多重无依赖的Namenode和Namespace。namenodes是联合在一起的，每个namenode相互独立不需要跟其他的namenode进...
2013-11-20 11:20:06
76
生成shell脚本删除hadoop中所有Pending的Job
需求：由于job在提交的时候没有指定pool name导致了很多Pending的job，那么这些job需要批量kill掉思路：利用hadoop job -kill jobid，生成shell脚本批量删除。实现：生成shell：hadoop job -list|grep 'NA'|awk '{print "hadoop job -kill " $1}'>killbat...
2013-11-19 15:16:28
983
java读取jar中的资源文件
需求：已经打包成jar，需要读取其中的资源文件。思路：直接读取其对应的jar文件路径以BufferedReader方式读取实现：获取到reader：public class DicReader { public static BufferedReader getReader(String name){ InputStream in = DicReade...
2013-11-18 17:23:25
122
hadoop集群直接数据拷贝
需求：两个hadoop集群直接进行数据的拷贝。思路：基于org.apache.hadoop.tools.DistCp，hadoop的命令行distcp就是才操作的封装实现：版本相同的做法：hadoop distcp ${fs.default.name1}/user/hadoop/text ${fs.default.name2}/user/hadoop/text ${f...
2013-11-18 17:01:49
344
hadoopJob执行shell脚本
需求：1.基于hadoop jar 执行hadoop的job2.参数也要可输入3.shell脚本可供crontab调度 方式：1.java解析输入的参数，并对参数进行规范定义2.shell实现hadoop jar命令行执行，调度脚本用shell实现3.crontab调度调度脚本 实现：java解析输入参数：/** * <pre>...
2013-11-15 13:12:08
455
Hadoop之MultipleOutputs
背景：根据业务输出有规则的业务数据，比如都在/abc/a/下他们根据业务不同，其文件名称也不同/abc/a/good-001/abc/a/bad-001那么下个job可以基于文件名做相应的业务操作hadoop版本信息：[ ~]$ hadoop versionHadoop 0.20.2-cdh3u4Subversion git://ubuntu-slave01/va...
2013-11-14 19:28:35
92
Maven官方用户入门指南”翻译之八(完)
如何创建api帮助手册？现在我们就开始生成maven工程的系统文档，你可以利用maven的项目创建向导执行如下命令为你已存在工程生成系统文档： mvn archetype:generate \ -DarchetypeGroupId=org.apache.maven.archetypes \ -DarchetypeArtifactId=maven-archetype-sit...
2013-11-14 08:34:12
243
“Maven官方用户入门指南”翻译之七
如何使用外部依赖?例子中有可能已经有dependencies元素了。实际上你会随时使用到外部的依赖资源，这边我们会谈论下他们是如何工作的。更详细的介绍请参考我们的依赖机制介绍。pom文件的dependencies 片段中列出了所有的项目依赖，包括编译，运行，测试等用到的。目前我们的项目只依赖JUnit ，其他资源相关信息拿掉之后如下： <project xmlns="htt...
2013-11-11 15:17:51
106
“Maven官方用户入门指南”翻译之六
如何过滤资源文件？有时候资源文件中某一个属性值需要在构建时才指定。在maven中这个是通过在一个资源属性文件中引入 ${<property name>}，，这个属性可以在pom文件中、settings.xml中、自定义属性文件或者一个系统属性。在maven中构建拷贝资源文件的时候只需要在pom文件中对指定的资源目录设置filtering 为true即可： <pr...
2013-11-11 13:19:21
89
“Maven官方用户入门指南”翻译之五
如何往jar中添加资源文件？另外一个常见需求就是在不修改pom文件的前提下在打包的时候把资源文件打进去。针对这个需求maven又一次基于标准目录结构，也就是说基于这个公约你可以在打包的时候很容易的打进去。在上述例子中我们增加了${basedir}/src/main/resources目录来放置一些希望打包打进去的资源文件。maven的规则是任何在${basedir}/src/main/r...
2013-11-10 22:55:38
82
“Maven官方用户入门指南”翻译之四
如何打包jar并发布到本地资源库上？执行如下命令可以直接创建一个jarmvn package看一下pom文件你可以注意到packaging元素的值已经设置成jar，这也就是为什么maven执行上述命令可以创建jar文件(关于这个后面还会说更多)。现在到${basedir}/target 这个目录下你可以看到刚才生成的jar文件。如果你打算安装此生成文件到本地资源库(默认本地路径为...
2013-11-07 14:53:15
81
“Maven官方用户入门指南”翻译之三
如何编译源文件？进入pom.xml所在的目录，然后执行如下命令去编译你的源文件：mvn compile执行时将会输出如下信息：[INFO] ----------------------------------------------------------------------------[INFO] Building Maven Quick Start Archetype...
2013-11-06 16:26:40
131
“Maven官方用户入门指南”翻译之二
如何构建第一maven工程？ 我们现在开始创建第一个自己的maven工程！我们将使用maven的创建向导，构建第一个maven工程。原型定义为：一组事物所表现出来的共性。在maven中，原型是一个满足客户需求创建的maven工程模板。我们现在开始去了解创建向导的工作机制，如果你想了解更多关于原型相关的信息，请参看"原型介绍" 继续创建第一个maven工程，执行...
2013-11-06 15:38:59
113
“Maven官方用户入门指南”翻译之一
概述：翻译官方用户指南，指南地址：http://maven.apache.org/guides/getting-started/index.html详情如下： 此指南是为初次使用者或普通用户作为指导手册而准备。对于初次使用者推荐采用顺序方式阅读，对于普通用户而言更好的是一本指导手册。假定你已经下载并安装了maven，如果你还没有安装那么请参考"下载安装"。 现...
2013-11-05 13:51:02
142
基于imagemagick的图片缩放和图片剪裁
需求背景：去年对图片做批量处理，也就是把原始图片处理成所需的图片，包括缩放所用到的以便做前台调用处理同时实现离线图片操作。 调研思路：1.java原始的imageio，详情参见以前博客基于javax.imageio的图片缩放和图片剪裁2.三方native工具，此处是imagemagick，接口基于im4java，其实imagemagick的接口有多种，但是im4java做...
2013-11-05 09:34:52
792
Java通过apache的common包发送email
场景：发送email 依赖：<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.4</version>
2013-11-04 14:12:13
148
基于javax.imageio的图片缩放和图片剪裁
概述：基于Sun自带lib进行图片的操作，此处主要展示图片的缩放和图片剪裁实现：图片缩放：/** * 图片伸缩，不破坏图片 * * @param srcFile 原图片路径 * @param dstFile 目标图片路径 * @param dstWidth 目标宽度 * @param dstHeight 目标高度 * @date 2013-11-1...
2013-11-01 17:57:25
724
管理后台模板
2018-08-03
Sqlite Developer
2018-08-02
fourinone配置文件
2018-07-30
手机号段归属编码库
2018-07-03
windows系统运行的scp，实现从Linux系统copy文件
2018-05-17
ikanalyzer-solr6.5.zip
2018-04-10
SSHSecureShellClient
2015-04-07
ecplise html编辑器tk.eclipse.plugin.htmleditor_2.2.0.jar
2015-04-07
大数据可视化组件ECharts
2015-03-25
Server Virtualization: Avoiding the I/O Trap
2022-04-07
visio图标库
2018-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人