hadoop
jessezhang1981
这个作者很懒,什么都没留下…
展开
-
Hadoop及子项目介绍
Hadoop及子项目介绍Hadoop是Apache的一个项目(http://hadoop.apache.org/),它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架。目前,整个Hadoop家族由以下几个子项目组成:转载 2011-08-14 10:50:04 · 600 阅读 · 0 评论 -
chp5_MapReduce应用开发_20111011
MapReduce应用开发1. MapReduce程序开发步骤编写map 和 reduce 程序–> 单元测试 -> 编写驱动程序进行验证-> 本地数据集调试 -> 部署到集群运行 用到的工具:Junit、Mockito、Ant 2. 使用Configuration关键点:1、 Configu...2011-10-16 16:43:50 · 68 阅读 · 0 评论 -
chp6_MapReduce工作机制_20111016
MapReduce工作机制 1. 剖析MapReduce的工作运行机制 2. 失败Tasktracker失败:失败检测机制,是通过心跳进行检测。主要有:(1) 超时:mapred.tasktracker.expiry.interval属性设置,单位毫秒(2) 黑名单机制:失败任务数远远高于集群的平均失败任务数。...2011-10-16 19:42:09 · 75 阅读 · 0 评论 -
利用Ant构建Hadoop高效开发环境
最近Hadoop的研究中,都是利用Mockito来模拟数据进行,下一个阶段需要在Hadoop服务器上做大量的运行进行验证,同时也要为正式使用做准备。 今天考虑使用Ant来搭建一个Hadoop的开发和调试环境,不使用hadoop自带的插件。思路如下:1、 利用Ant在开发机器上将代码编译、打包,最终得到可执行的jar包。2、 利用Ant的SSH属性,将jar包传...2011-10-23 23:10:54 · 76 阅读 · 0 评论 -
Hadoop及子项目介绍
Hadoop及子项目介绍Hadoop是Apache的一个项目(http://hadoop.apache.org/),它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架。目前,整个Hadoop家族由以下几个子项目组成:Hadoop CommonHadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。...原创 2011-08-13 12:26:37 · 207 阅读 · 0 评论 -
Hadoop安装总结
Hadoop安装总结安装JDK1、下载jdk1.6及以上版本,在/usr下安装 chmod u+x jdk-6u26-linux-i586.bin./ jdk-6u26-linux-i586.bin 2、配置环境变量vi /etc/profile 找到如下代码:for i in /etc/profi...2011-08-13 13:07:38 · 205 阅读 · 0 评论 -
hadoop开发环境配置(伪分布)
Hadoop开发环境安装插件0.20.0下原始的eclispe插件无法使用,需要下载网上改造过的:hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar copy到eclispe插件目录,然后重启eclispe。PS:这里出现一个问题,发现在eclispe3.7下插件不会加载,最终删除旧的eclispe,使用新解压的文件解决,可以将...2011-08-14 10:44:14 · 91 阅读 · 0 评论 -
HDFS系统学习笔记
HDFS系统1. 读数据流程 客户端开始读取,打开FS,首先从NameNode获取元数据(返回的元数据包括数据块的定义及位置,是否几个副本的位置也同时返回了?),然后根据元数据从各数据节点读取数据,其中数据节点的选择采取就近原则。问题:读取过程中一个datanode挂掉了,会怎么样?如果在与datanode通讯时遇到问题,则会寻找最邻近的一个da...2011-08-14 23:19:07 · 71 阅读 · 0 评论 -
hadoop运行报错: java.lang.ClassNotFoundException解决方法
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com在创建自定义的Mapper时候,编译正确,但上传到集群执行时出现错误:11/12/11 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Status : F...2011-12-11 23:10:46 · 779 阅读 · 0 评论 -
Hadoop权威指南(第二版)pdf中文版
今天终于找到 hadoop权威指南第二版的中文pdf版本了,发给大家共享一下 下载地址:http://dl.dbank.com/c0hh1arjiz ----------------------------------------------------------------------------------------------------------...2011-11-03 11:29:21 · 165 阅读 · 0 评论 -
Hadoop正式发布1.0版本
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com Hadoop正式发布1.0版本,说明社区认为,这个版本已经逐步稳定了,这是个很大的利好,也是一个压力(如何能快速应用、精通,是我们都要面对的一个问题) http://t.cn/SMDO6B------------------------------...2011-12-30 23:46:34 · 258 阅读 · 0 评论 -
Hadoop的五个典型应用场景
本文为转载,原始地址为:http://blog.nosqlfan.com/html/3395.html---------------------------------------------------------Hadoop作为大数据存储及计算领域的一颗明星,目前已经得到越来越广泛的应用。下面PPT主要分析了Hadoop的一些典型应用场景,并对其进行了深入分析,主要包括下面几个方...原创 2011-11-08 11:18:13 · 422 阅读 · 0 评论 -
Google三大论文中文版 pdf
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com 网上找到的Google三大论文的中文版,包括:bigData、GFS、MapReduce,共享给大家下载地址:http://t.cn/S4nMUi-----------------------------------------转...2011-11-30 11:43:36 · 360 阅读 · 0 评论 -
《权威指南》笔记七 MapReduce的类型和格式
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com要点:1、MapReduce类型1.1默认的MapReduce Job2、输入格式2.1输入分片与记录2.2文本输入2.3二进制输入2.4多种输入2.5数据库输入(和输出)3、输出格式3.1文本输出3.2二进制输出3.3多个...2011-12-04 00:30:43 · 105 阅读 · 0 评论 -
《权威指南》笔记八 MapReduce的特性
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com 要点:1、计数器1.1内置计数器1.2用户定义的Java计数器1.3用户定义的Streaming计数器2、排序2.1准备2.2部分排序2.3全排序2.4辅助排序3、连接3.1map端连接3.2reduce端连接4、...2011-12-05 00:25:56 · 102 阅读 · 0 评论 -
《权威指南》笔记九 构建Hadoop集群
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com 要点:1、集群规范1.1网络拓扑2、集群的构建和安装2.1安装Java2.2创建Hadoop用户2.3安装Hadoop2.4测试安装3、SSH配置4、Hadoop配置3.1配置管理3.2环境设置3.3 Hadoop...2011-12-05 22:03:48 · 119 阅读 · 0 评论 -
《权威指南》笔记十 管理Hadoop
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com 要点:1、HDFS1.1永久性数据结构1.2 安全模式1.3 日志审计1.4 工具2、监控2.1 日志2.2 度量2.3 Java管理扩展(JMX)3、维护3.1 日常管理过程3.2 委任和解除节点3.3 升级...2011-12-07 00:29:17 · 89 阅读 · 0 评论 -
Google的三大基石
Google的三大基石,也是云计算的几个重点论文的来源: 1、GFS(Google File System): Google文件系统,来源于Google发布的一篇论文,基于该系统拓展出了HDFS 2、MapReduce 并行运算框架,目前主要是hadoop(yahoo贡献,Google发扬光大,Facebook以此为基础构建) 3、BigT...原创 2011-07-20 13:58:48 · 168 阅读 · 0 评论 -
hadoop的应用(摘自itpub论坛)
在itpub的hadoop论坛中看到一则hadoop的应用说明,觉得不错,转载之。地址:http://www.itpub.net/thread-1458086-1-1.html 在实际生产中,hadoop是怎么应用的?1.数据是怎么进入到HADOOP的?2.HADOOP在现在数据仓库中扮演的是一个什么样的角色?3.hadoop是不是需要二次开发?4.从HADOOP有什么缺点?能实现复杂...原创 2011-09-23 22:44:19 · 118 阅读 · 0 评论 -
Hadoop的Namenode的容灾处理
Hadoop的namenode是关键节点,虽然业务尽量单一,减少出错几率,但是程序都有出错的可能,所以还是需要有效的办法来解决,如下是权威指南里面介绍的两种方法: 1、备份那些组成文件系统元数据持久状态的文件。hadoop可以通过配置使namenode在多个文件系统上保存元数据的持久状态。这些写操作是实时同步的,是原子操作。一般的配置是:将持久状态写入本地磁盘的同时,写入一个远程挂载...原创 2011-08-17 21:48:13 · 529 阅读 · 0 评论 -
Google的三大基石
Google的三大基石,也是云计算的几个重点论文的来源: 1、GFS(Google File System): Google文件系统,来源于Google发布的一篇论文,基于该系统拓展出了HDFS 2、MapReduce原创 2011-07-20 14:27:21 · 535 阅读 · 0 评论 -
Hadoop的五个典型应用场景
本文为转载,原始地址为:http://blog.nosqlfan.com/html/3395.html---------------------------------------------------------Hadoop作为大数据存储及计算领域的一颗明星,目前已经得到越来越广泛的应用。下面PPT主要分析了Hadoop的一些典型应用场景,并对其进行了深入分析,主要包括下面几个转载 2011-11-08 11:13:01 · 2634 阅读 · 0 评论 -
Google三大论文中文版 pdf
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com网上找到的Google三大论文的中文版,包括:bigData、GFS、MapReduce,共享给大家下载地址:http://t.cn/S4nMUi--------------------------------------原创 2011-11-30 11:39:58 · 1824 阅读 · 0 评论 -
Hadoop安装总结
Hadoop安装总结安装JDK1、下载jdk1.6及以上版本,在/usr下安装 chmod u+x jdk-6u26-linux-i586.bin./ jdk-6u26-linux-i586.bin 2、配置环境变量vi /etc/profile 找到如下代码:for i in /etc/profile.d/*.sh ;原创 2011-08-14 10:51:11 · 680 阅读 · 0 评论 -
chp5_MapReduce应用开发_20111011
MapReduce应用开发1. MapReduce程序开发步骤编写map 和 reduce 程序–> 单元测试 -> 编写驱动程序进行验证-> 本地数据集调试 -> 部署到集群运行 用到的工具:Junit、Mockito、Ant 2. 使用Configuration关键点:1、 Configuration类可以加载配置文件,包括系原创 2011-10-16 16:43:04 · 626 阅读 · 0 评论 -
chp6_MapReduce工作机制_20111016
MapReduce工作机制 1. 剖析MapReduce的工作运行机制 2. 失败Tasktracker失败:失败检测机制,是通过心跳进行检测。主要有:(1) 超时:mapred.tasktracker.expiry.interval属性设置,单位毫秒(2) 黑名单机制:失败任务数远远高于集群的平均失败任务数。失败原创 2011-10-16 19:38:51 · 843 阅读 · 1 评论 -
利用Ant构建Hadoop高效开发环境
最近Hadoop的研究中,都是利用Mockito来模拟数据进行,下一个阶段需要在Hadoop服务器上做大量的运行进行验证,同时也要为正式使用做准备。 今天考虑使用Ant来搭建一个Hadoop的开发和调试环境,不使用hadoop自带的插件。思路如下:1、 利用Ant在开发机器上将代码编译、打包,最终得到可执行的jar包。2、 利用Ant的SSH属性,将jar包传到hadoop原创 2011-10-23 23:05:43 · 2638 阅读 · 2 评论 -
Hadoop权威指南(第二版)pdf中文版
今天终于找到 hadoop权威指南第二版的中文pdf版本了,发给大家共享一下 下载地址:http://dl.dbank.com/c0hh1arjiz ----------------------------------------------------------------------------------------------原创 2011-11-03 11:27:44 · 8104 阅读 · 6 评论 -
Hadoop开发环境配置(伪分布模式)
Hadoop开发环境安装插件0.20.0下原始的eclispe插件无法使用,需要下载网上改造过的:hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar copy到eclispe插件目录,然后重启eclispe。PS:这里出现一个问题,发现在eclispe3.7下插件不会加载,最终删除旧的eclispe,使用新解压的文件解决,可以将旧eclisp原创 2011-08-14 10:53:27 · 576 阅读 · 0 评论 -
《权威指南》笔记七 MapReduce的类型和格式
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com要点:1、MapReduce类型1.1默认的MapReduce Job2、输入格式2.1输入分片与记录2.2文本输入2.3二进制输入2.4多种输入2.5数据库输入(和输出)3、输出格式3.1文本输出3.2二进制输出3.3多原创 2011-12-04 00:27:19 · 1136 阅读 · 0 评论 -
《权威指南》笔记八 MapReduce的特性
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com要点:1、计数器1.1内置计数器1.2用户定义的Java计数器1.3用户定义的Streaming计数器2、排序2.1准备2.2部分排序2.3全排序2.4辅助排序3、连接3.1map端连接3.2reduce端连接4、边数原创 2011-12-05 00:22:26 · 1203 阅读 · 0 评论 -
《权威指南》笔记九 构建Hadoop集群
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com要点:1、集群规范1.1网络拓扑2、集群的构建和安装2.1安装Java2.2创建Hadoop用户2.3安装Hadoop2.4测试安装3、SSH配置4、Hadoop配置3.1配置管理3.2环境设置3.3 Hadoop原创 2011-12-05 22:00:04 · 1219 阅读 · 0 评论 -
《权威指南》笔记十 管理Hadoop
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com要点:1、HDFS1.1永久性数据结构1.2 安全模式1.3 日志审计1.4 工具2、监控2.1 日志2.2 度量2.3 Java管理扩展(JMX)3、维护3.1 日常管理过程3.2 委任和解除节点3.原创 2011-12-07 00:22:08 · 1295 阅读 · 0 评论 -
hadoop运行报错: java.lang.ClassNotFoundException解决方法
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com在创建自定义的Mapper时候,编译正确,但上传到集群执行时出现错误:11/12/11 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Sta原创 2011-12-11 23:07:11 · 2585 阅读 · 0 评论 -
Hadoop正式发布1.0版本
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.comHadoop正式发布1.0版本,说明社区认为,这个版本已经逐步稳定了,这是个很大的利好,也是一个压力(如何能快速应用、精通,是我们都要面对的一个问题) http://t.cn/SMDO6B-----------------------原创 2011-12-30 23:43:26 · 701 阅读 · 0 评论 -
网友分享的《Hadoop实战》中文版 pdf
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com 网友分享的《Hadoop实战》的中文版,虽然不太清晰,但比较适合没有实体书的朋友阅读,借花献佛也共享给大家,可以通过如下地址下载:http://t.cn/Sq1lOy-----------------------------------------...2011-12-08 20:50:53 · 621 阅读 · 0 评论