Hadoop文档的中文版

最新推荐文章于 2023-01-17 17:32:14 发布
最新推荐文章于 2023-01-17 17:32:14 发布
阅读量3.5k 收藏 3
点赞数
文章标签： hadoop 文档 中文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oneinmore/article/details/46045035
版权
oneinmore
关注
Hadoop权威指南-Hadoop中文文档-第三版本
12-02
Hadoop权威指南-Hadoop中文文档-第三版本.
Hadoop 官方文档(中文版)
08-11
Hadoop 中文教程 。包括快速入门，集群搭建，分布式文件系统，命令手册等文件。
Hadoop官方中文文档
08-29
Hadoop官方文档，中文手册，介绍Hadoop快速入门，集群搭建，HDFS架构设计、使用、权限、配额管理等，
hadoop的中文文档
weixin_30823227的博客
10-18 238
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html 转载于:https://www.cnblogs.com/guotianqi/p/7686527.html
Hadoop 官方中文文档
狂飙的蜗牛
02-22 1212
http://hadoop.apache.org/common/docs/r0.18.2/cn/
Hadoop官方文档（中文版）
10-19
Hadoop 0.18官方文档（中文版）
hadoop-yarn-client-2.6.5-API文档-中文版.zip
05-01
包含翻译后的API文档：hadoop-yarn-client-2.6.5-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.hadoop:hadoop-yarn-client:2.6.5； 标签：apache、client、hadoop、yarn、jar包、java、中文文档； ...
hadoop-yarn-api-2.5.1-API文档-中文版.zip
04-23
标签：apache、hadoop、api、yarn、jar包、java、API文档、中文版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准...
hadoop-api中文说明文档
05-22
hadoop-api中文说明文档
hadoop2.7中文文档
02-23
hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档
Hadoop2.7.1中文文档
10-26
Hadoop2.7.1中文文档
Hadoop中文文档 CHM
12-17
Hadoop 云的核心技术 中文帮助手册，快速入门
hadoop 中文手册
04-25
hadoop 中文手册 Hadoop文档 下面的文档是一些概念介绍和操作教程，可帮助你开始使用Hadoop。如果遇到了问题，你可以向邮件列表求助或者浏览一下存档邮件。 Hadoop快速入门 Hadoop集群搭建 Hadoop分布式文件系统 Hadoop Map-Reduce教程 Hadoop本地库 API参考 维基 常见问题
Hadoop 2.7.1 中文文档
11-30
Hadoop 2.7.1 中文文档 Hadoop 2.7.1 中文文档 Hadoop 2.7.1 中文文档
hadoop中文文档
03-14
hadoop 中文文档index Prefetch chain 预处理链 Pre selector Precondition Enforcer Fetch chain 提取链 Fetch DNS Fetch Http Extractor chain抽取链 Extractor HTML Extractor JS Write Chain 写链 ARC Writer Processor Post process Chain Crawl State Updater Post selector 范围部件，边界部件，处理器链 　　预取链：主要是做一些准备工作，例如，对处理进行延迟和重新处理，否决随后的操作。 提取链：主要是获得资源，进行DNS转换，填写请求和响应表单 　　抽取链：当提取完成时，抽取感兴趣的HTML，JavaScript，通常那里有新的也适合的URI，此时URI仅仅被发现，不会被评估 　　写链：存储爬行结果，返回内容和抽取特性，过滤完存储。 　　提交链：做最后的维护，例如，测试那些不在范围内的，提交给边界部件 1. Pre fetch Chain 预处理链。 1.1 precondition Enforcer: 预处理。Enforcer 处理。确定、提供捉取所需要的基本信息。 例如：查询、请求一个DNS，或者是 请求、分析一个robots.txt文件。--这些都是在进行下一步之前所要做的事情。 1.2 Pre selector ：预选择器。查看爬虫的域，看是否这个URL已经被处理（捉取）过了。如果被捉取过了，那么就把这个URL的状态置为 OUT_OF_SCOPE （超出了域的范围），并且直接跳到 post processor（后处理），更新该爬虫的信息。 1.3 Quota Enforcer ：限额处理。这是一个简单的配额处理器。检查主机、服务器、边界组 和现在的捉取URL已经超过了配额的话，阻塞正在处理的URL，并且该URL的状态设置为 S_BLOCKED_BY_QUOTA。 1.4 Runtime Limit Enforcer ：持续时间限制处理。这是在爬虫程序中的时限控制处理器。 这个处理器是扩展和提高Heritrix 长时间运行能力所必不可少的一个类。设置允许的最大允许时间，如果对一个URL的处理超过了这个最大的时间，那么处理器可以停止或暂停这个URL的处理。 1.4.1 暂停工作-暂停爬虫。一个修改（增加）持续时间可以重新恢复爬虫的工作。如果试图恢复爬虫的运行，而不修改运行允许的持续时间的话，爬虫会再次被停止。 1.5 Runtime Limit Enforcer . Operation：状态变量枚举。包含处理状态的常量。暂停、停止、阻塞。 2. Fetch Chain 捉取处理链。 2.1 Fetch DNS ：捉取DNS。处理器去分析 和处理以dns:开始的URL. 2.2 Fetch HTTP ：捉取HTTP。使用了Apache 的 HttpClient类库。处理以http:开头的URL。 2.3 Fetch FTP ： 捉取FTP。捉取FTP的目录和文档，远程的FTP服务器必须支持 NLIST 命令。现在大多数的FTP服务器支持。 2.4 Fetch Stats :捉取的主机、端口、或者是边检组的一个统计。 2.5 BDB Cookie Storage ：缓存器。使用BDB嵌入数据库引擎实现的缓存器，存储容量大。 2.6 Default Server Cache ：服务器默认缓存器。 2.7 Heritrix Http Method Retry Handler : http 方法重请求帮助类。 2.8 Heritrix Protocol Socket Factory ： Hreitrix的标准协议端口工厂。 2.9 Heritrix SSL Protocol Socket Factory ：heritrix的SSL 协议端口工厂。 2.10 Simple Cookie Storage ： 简单缓存存储器。 3. Extractor Chain 链接提取处理链。 3.1 Extractor 处理捉取的URL链接，这个类提供错误帮助当分析文档内容的时候。当然可以用它的子类 ContentExtactor 来替代。 3.2 Extractor HTML 从HTML 内容里提取链接。 3.3 Extractor CSS 从 CSS 里面提取链接。 3.4 Extractor JS 从 JS 里面提取链接。 3.5 Extractor PDF 从 PDF里面提起链接。 3.6 Extractor SWF 从 Flash里面提取链接。 3.7 Extractor Universal 最后一个链接提取器，通过提取任何看起来像链接的。如果使用的话，那么一般把它放在链接提取链的最后一个。 3.8 Extractor URI 从URI 里面提取链接。如果该URI中含有其他链接的话。 3.9 Extractor XML 从XML里面提取 链接。 3.10 Link Context 链接字典的内容。 4. Write Chain 写处理链。 4.1 ARC Writer Processor 这是一个把捉取到的结果进行写写的处理，存储为 ARC（网络档案文件格式）的文档。每个 Heritrix实例只有一个这样的些处理线程在运行。 4.2 Default Metadata Provider 一个合适爬虫元数据的标准集。 4.3 Mirror Writer Processor 镜像 写处理。把捉取到的结果以镜像的形式存储。 4.4 Writer Pool Processor 写处理池。这是一个虚拟的文件池处理的实现。是ARC Writer Processor的父类。 5. Post Process Chain 后处理链。 5.1 Crawl State Updater ：爬虫状态更新程序。 这是在处理了一个URL后的一步，用来更新已经被处理的URL的信息。这些信息包括IP、robots等信息。 5.2 Frontier Scheduler ：定制边界URL的查询调度表。增加想要的或者是链接到其他地的链接。 5.3 Links Scope r 链接范围。确定哪个链接在范围内。把链接转换成Crawl URL类型，然后去查看该Crawl URL是不是在范围内。 5.4 Low Disk Pause Processor 当系统的磁盘很少了的时候，暂停处理。 5.5 Supplementary Links Scope r 做完普通的处理后再追加一些补充的处理的类。 5. Frontier 边界，下一个URL决定器。 5.1 Adaptive Revisit Frontier 重新检索边界程序。这是一个重复访问指定URL的边界程序。等待时间是可以设置的。 5.2 Adaptive Revisit Host Queue 是Crawl URL的一个主要的队列，每个队列应该代表一个主机（虽然这不是必须的）。 5.3 Adaptive Revisit Queue List 管理着Adaptive Revisit Host Queue 组成的列表。 5.4 BDB Frontier BDB数据库边界。使用 Berkeley DB 来维护自己知道的主机。 5.5 BDB Multiple Work Queues 是一个用嵌入式数据库实现的。 5.6 BDB Work Queue 一个独立的，有着相同class Key的列表。 6. Toe Pool 线程池。 6.1 Toe Pool 是一个Toe Thread线程池。 6.2 Toe Thread 是一个线程。 7 Crawl Controller Implement 主控制程序。 该类集合了所有的类，它可以协调执行爬虫和提供高水平的界面给运行的爬虫。
hadoop中文
duan19840118的博客
10-08 227
http://hadoop.apache.org/common/docs/r0.20.2/cn/cluster_setup.html MPJ http://sourceforge.net/projects/mpjexpress/files/
Hadoop官方文档中文版3.2.1稳定版
sinat_40894888的博客
05-27 2718
第一节 设置单节点集群 目的 这个文档描述了如何设置和配置单节点的安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）进行快速的简单操作。 准备 平台支持 支持GNU/Linux作为开发的生产平台。Hadoop已经在具有2000个GNU/Linux集群进行了演示。 Windows平台同样得到了支持，但是以下的步骤只针对于Linux。如果想在Windows平台设置Hadoop，请参考wiki页面。 需要的软件 对于Linux需要的软件包括： 必须安装Java。推荐
hadoop-hdfs 简介、中文文档、中英对照文档 下载
最新发布
寒水馨
01-17 628
hadoop-hdfs 简介、中文文档、中英对照文档 下载；hadoop-hdfs、org.apache.hadoop、中文文档、中英对照文档、下载、包含jar包、原API文档、源代码、Maven依赖信息文件、翻译后的API文档、apache、hadoop、hdfs、中英对照文档、jar包、java；
hadoop中文教程
liyongke89的专栏
05-09 375
hadoop官方提供的中文教程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值