![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
yuyin86
这个作者很懒,什么都没留下…
展开
-
利用Cloudera实现Hadoop
目录 [隐藏] 1 利用 Cloudera 部署 Hadoop 1.1 前言1.2 规划 1.2.1 运行模式1.2.2 主机规划1.2.3 Hadoop环境规划 1.3 安装 1.3.1 设置Cloudera的源1.3.2 安装Hadoop 1.4 部署 1.4.1 主机互联 1.4.1.1 主机互联的可选方法(配置复杂并不推荐)转载 2012-02-21 14:47:01 · 1101 阅读 · 0 评论 -
Ubuntu下安装及配置单点hadoop
环境:Ubuntu10.10,Hadoop 0.21.0首先准备工作: 1,我是在deskTop版本的Ubuntu下安装的所以,需要先安装ssh server。这个很好找,直接到到新立得里搜索ssh,第一个就是。 2,安装sun jdk6,切忌一定要是java6及其以上版本。先到更新管理器里把canonical的源加进去。 之后sudo apt-get update. 3, sud转载 2012-02-21 14:49:48 · 1022 阅读 · 0 评论 -
近期 Hadoop实施心得与总结
Hadoop实施已经有快一个月了,对Hadoop(1.0.3)的概念理解、使用,Linux 与 Shell脚本,甚至对 Mysql 都有了更多的理解。 项目背景:用于互联网信息收集后的关键词匹配与内容提取。 主要系统架构分为互联网爬虫、分析、业务应用三块: 简单架构描述 由于我在当中的角色主要负责分析架构的搭建,所以其他两块都画得简单,下面也不会过多的描述。 Had转载 2012-08-09 18:29:24 · 860 阅读 · 0 评论 -
MapReduce的模式、算法和用例
英文原文:MapReduce Patterns, Algorithms, and Use Cases,编译:juliashine 在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法,并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型,包括Mappers, Reduces, Combiners, Partitioner转载 2013-02-26 12:54:09 · 551 阅读 · 0 评论