hadoop
流水无Qing
CS计算机硕士一枚,主攻方向为机器学习和数据挖掘,还有移动互联网开发,最感兴趣的是大数据hadoop研究,同时兼顾开发各种java B/S项目,android移动客户端项目,偶尔还设计到图像方面了,当然了,还有一些nodejs,matlab,python,js等各个方面的涉入,同时也希望和大家一起交流、共同进步。
展开
-
hadoop技术基本架构
一、Hadoop概述hadoop由两部分组成,分别是分布式文件系统和分布式计算框架MapReduce。其中,分布式文件系统主要用于大规模数据的分布式存储,而MapReduce 则构建在分布式文件系统之上,对存储在分布式文件系统中的数据进行分布式计算。2、在Hadoop 中,MapReduce 底层的分布式文件系统是独立模块,用户可按照约定的一套接口实现自己的分布式文件系统,然后经过简单原创 2014-04-30 12:53:58 · 5671 阅读 · 0 评论 -
MapReduce 编程模型
一、简介1、MapReduce 应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。2、从MapReduce 自身的命名特点可以看出,MapReduce 由两个阶段组成:Map 和Reduce 。用户只需编写map ( ) 和reduce( ) 两个函数,即可完成简单的分布式程序的设计。 1)m a p ( ) 函数以key/value 对作为输入,产原创 2014-04-30 14:00:45 · 7185 阅读 · 1 评论 -
Ubuntu(-13.10)中安装JDK图文详解教程
很详细的在Ubuntu(ubuntu-13.10)中安装JDK图文详解教程,我们选择的是jdk1.7版本。安装文件名为jdk-7u51-linux-i586.tar.gz.第一步:下载jdk;http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html(注:如果下载原创 2014-03-17 16:41:57 · 5588 阅读 · 3 评论 -
java反射机制与动态代理
在学习HadoopRPC时,用到了函数调用,函数调用都是采用的java的反射机制和动态代理来实现的,所以现在回顾下java的反射和动态代理的相关知识。一、反射JAVA反射机制定义: JAVA反射机制是java程序在运行状态中,对于任意一个类,都能够知道这个类的所有属性和方法;对于任意一个对象,都能够调用它的任意一个方法;这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机原创 2014-05-05 13:03:03 · 5625 阅读 · 1 评论 -
Hadoop2.2.0单节点安装和配置环境图文详解
摘要:最近也是刚刚入门hadoop,配置环境就折腾了很久,在网上也查看了给位大神的帖子,从中也学到 了很多东西,但是很多都是比较杂,在这里我就贴出我配置的一些心得,望各位指教。一、简介二、在Ubuntu下创建hadoop用户组和用户三、在Ubuntu下安装JDK四、安装ssh服务五、建立ssh无密码登录本机六、安装hadoop七、在单机上运行hadoop。一:简原创 2014-03-19 23:07:31 · 1795 阅读 · 0 评论 -
Hadoop主要子项目介绍(Pig Zookeeper Hbase Hive Sqoop Avro Chukwa Cassandra )
现在Hadoop已经发展成为包含多个子项目的集合。虽然其核心内容是MapReduce和Hadoop分布式文件系统(HDFS),但Hadoop下的Common、Avro、Chukwa、Hive、HBase等子项目也是不可或缺的。它们提供了互补性服务或在核心层上提供了更高层的服务。原创 2014-04-24 21:37:07 · 4358 阅读 · 0 评论 -
hadoop HDFS原理基础知识
HDFS设计基础与目标 :1、硬件错误是常态。因此需要冗余 2、流式数据访问。即数据批量读取而非随机读写,Hadoop擅长做的是数据分析而不是事务处理 3、大规模数据集 4、 简单一致性模型。为了降低系统复杂度,对文件采用一次性写多次读的逻辑设计,即是文件一经写入,关闭,就再也不能修改 5、程序采用“数据就近”原则分配节点执行HDFS体系结构 :1、Nam原创 2014-04-11 11:04:00 · 1958 阅读 · 0 评论