hadoop
文章平均质量分 83
Watering_sea
每天进步一点点
展开
-
hadoop开发之环境搭建
已经研究了一段时间的hadoop了,由于最近事情实在太多,完全抽不出时间来整理资料,今天总算有时间了,整理下资料,也算对这段时间的总结吧。 在这互联网时代,大数据的发展已经是势不可挡,顺应时代潮流,冲进互联网风口,研究hadoop也让我心情澎湃 详细的说下hadoop的环境搭建,因为这个过程中对初学者来说是会出现各种各样的问题:原创 2015-08-09 11:40:58 · 810 阅读 · 0 评论 -
hadoop之HDFS(分布式文件系统)
hadoop最自豪的两大支柱hdfs和map-reduce,让我们来了解hdfs。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用 。**HDFS(分布原创 2015-08-09 15:44:05 · 1137 阅读 · 0 评论 -
hadoop详细的环境搭建
已经研究了一段时间的hadoop了,由于最近事情实在太多,完全抽不出时间来整理资料,今天总算有时间了,整理下资料,也算对这段时间的总结吧。在这互联网时代,大数据的发展已经是势不可挡,顺应时代潮流,冲进互联网风口,研究hadoop也让我心情澎湃.详细的说下hadoop的环境搭建,因为这个过程中对初学者来说是会出现各种各样的问题:首先说下正确的搭建方式,然后在说下我们团队在搭建环境中出现的各种问题以及解原创 2015-08-09 13:16:09 · 893 阅读 · 0 评论 -
Hadoop应用之顺序链接
虽然有些时候是可以手动的逐个操作作业的执行,但是更为便捷的方式还是自动的生成一个自动化的执行序列。我们可以将MapReduce作业按照顺序链接在一起,用一个MapReduce的作业的输出作为下一个作业的输入,类似于Unix的管道。 测试的代码:a:主类Driverimport org.apache.hadoop.conf.Configuration;import org.apache.hado原创 2015-08-26 23:35:37 · 766 阅读 · 0 评论 -
Hadoop之Map-Reduce
连续发3篇hadoop的文章,还真的有点累,但是在发表过程中又对其原理又有了比较清晰的了解了.感觉还是不错的。 Hadoop的第二大框架Map-Reduce,即分布式处理框架.总的来说它是对HDFS的具体实现。1:Map-Reduce原理:*把大文件分成很多个块,每一个块分别放在不同的节点上的做一个map函数,可以被jobtracker分配到各个节点上运行对分在机子上的数据进行mapm原创 2015-08-09 16:13:40 · 790 阅读 · 0 评论 -
Hadoop之Reduce侧的联结
理解其就像关系型数据库中的链接查询一样,数据很多的时候,几个数据文件的数据能够彼此有联系,可以使用Reduce联结。举个很简单的例子来说,一个只存放了顾客信息Customer.txt文件,和一个顾客相关联的Order.txt文件,要进行两个文件的信息组合,原理图如下: 这里涉及的几个专业术语:Group key ,datasourde,Tag.前者的话通俗点来说的话就相当于关系型数据库中的原创 2015-08-27 00:17:31 · 1394 阅读 · 0 评论 -
从Struts2源码学习Struts2的工作原理
今天我和我好基友啊斌通过探讨struts2的源码,总结了一下它的原理,代码是不会骗人的。 总的来说:struts的工作原理有7步: 1 客户端初始化一个指向Servlet容器的请求;2 这个请求经过一系列的过滤器 在项目部署的时候,由tomcat容器读取项目的web.xml文件,测试的web.xml文件如下: <?xml version="1.0" encodin原创 2015-08-15 16:04:24 · 1546 阅读 · 3 评论