![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 79
qq2867234
这个作者很懒,什么都没留下…
展开
-
Hadoop-eclipse-plugin插件安装[图文]
Hadoop-eclipse-plugin插件安装1、 下载与Hadoop对应版本的hadoop-eclipse-plugin-*.*.*.jar2、 将“hadoop-eclipse-plugin-*.*.*.jar”复制到MyEclipse目录下的MyEclipse10下的dropins文件夹内(这里注意,如果是Eclipse的话,是放在plugins目录下)。如下图:原创 2013-12-03 13:51:59 · 1196 阅读 · 0 评论 -
Hadoop伪分布模式环境搭建[详细]
Hadoop伪分布模式环境搭建SSH在搭建Hadoop环境之前,首先需要了解SSH。SSH 是一个安全协议。目前较可靠,专为远程登录服务器提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。在安装一个Hadoop集群时,需要专门指定一个服务器作为主节点,它将作为一个基站,负责联络所有的从节点(主节点经常要访问从节点,我们需要做到免密码即可访问从节点原创 2013-07-15 17:08:36 · 564 阅读 · 0 评论 -
Hadoop全分布模式环境搭建[详细]
Hadoop全分布模式环境搭建1. 准备三台PC,一个主节点,两个从节点master(NameNode、SecondaryNameNode、JobTracker、DataNode、TaskTracker)slave1(DataNode、TaskTracker)slave2(DataNode、TaskTracker)2. 修改主机名vim /etc/hos原创 2013-12-03 10:20:16 · 510 阅读 · 0 评论 -
Hadoop——数据流详解[笔记]
数据流文件读取剖析为了了解客户端及与之交互的HDFS 、namenode 和datanode 之间的数据流是什么样的,可参考下图,该图显示了在读取文件时一些事件的主要顺序。客户端通过调用FileSystem对象的open()来读取希望打开的文件,对于HDFS来说,这个对象是分布式文件系统(图3-1中的步骤1)的一个实例。DistributedFileystem通过使用RPC原创 2013-12-05 10:57:35 · 613 阅读 · 0 评论 -
Hadoop——Java接口[笔记]
Java 接口Hadoop 有一个抽象的文件系统概念, HDFS 只是其中的一个实现。Java 抽象类org.apache.hadoop.fs.FileSystem 定义了Hadoop 中的一个文件系统接口:与Hadoop 的某一文件系统进行交互的API 。虽然我们主要关注的是HDFS的实例,即DistributedFileSystem,但总体来说,还是应该继承FileSystem抽象类,并编原创 2013-12-05 10:50:50 · 838 阅读 · 1 评论 -
Hadoop自定义InputFormat以实现多文件输入 MultiFileInputFormat
hadoop在每一个数据储存节点启动一个map任务来处理数据,如果数据块太大,而map任务设定的分块大小小于数据块,那么一个数据块被拆分成多个数据块并拷贝到其它节点进行执行,这样有利于提高处理性能,特别是比较耗时的计算,希望数据分块较小;同时如果希望一个map节点处理较大的数据块,则可以设定mapred.min.split.size参数,将此参数调大,则可以让一个节点处理一个数据块;这是两种常见的原创 2013-12-16 13:44:41 · 1211 阅读 · 0 评论