hadoop&云计算
落叶翩翩
这个作者很懒,什么都没留下…
展开
-
hadoop 单点配置
实验环境:vmware9+ubuntu12+jdk7(master:192.168.0.128 )vmware9+ubuntu12+jdk7(salve:192.168.0.129 )首先去http://www.apache.org/dyn/closer.cgi/hadoop/common/下载hadoop,我下载的是1.2.1版本的,稳定版的配置ubuntu的IP为固定IP,分别转载 2013-09-06 16:09:28 · 1268 阅读 · 0 评论 -
ubuntu下hadoop集群配置
没有进行单点配置的同学,请参考的的上一篇博客1、域名映射 编辑/etc/hosts 文件,注意host name不要有下划线192.168.1.2 master 192.168.1.3 slave1 重启网络服务service network restart 2、 验证 ssh 服务端主机名或IP 无须再输入密码短语。如转载 2013-09-06 17:56:17 · 1053 阅读 · 0 评论 -
MapReduce编程(入门篇)
一. MapReduce 编程模型还是以一个经典的图片来说明问题.1. 首先, 我们能确定我们有一份输入, 而且他的数据量会很大2. 通过split之后, 他变成了若干的分片, 每个分片交给一个Map处理3. map处理完后, tasktracker会把数据进行复制和排序, 然后通过输出的key 和value进行 partition的划分, 并把partition相同的map输转载 2013-09-09 17:32:28 · 2799 阅读 · 0 评论 -
架构图收集
来自:http://www.smartbi.com.cn/pro78.htmBI和hadoop分析平台大数据是目前最热门的话题,虽然不少厂商宣称推出了大数据的产品,但在实际应用中,Hadoop已经成为大数据处理的事实标准,Facebook、百度、阿里等互联网企业无一不采用Hadoop。即便是商业数据库公司,如IBM、Oracle、SAP、Teradata、甚至Microsoft等都采用转载 2013-11-11 09:35:50 · 654 阅读 · 0 评论