Hadoop
南山牧笛
只有站在高处,才会看见更美丽的风景
展开
-
Hadoop学习笔记:MapReduce框架详解
开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而学习hdfs时候我就发现,要理解hadoop框架转载 2015-08-25 13:48:21 · 455 阅读 · 0 评论 -
从零开始学习Hadoop--第1章 Hadoop的安装
转载地址:http://blog.csdn.net/lizhe_dashuju/article/details/13502659 (大数据与机器学习,一系列的hadoop文章) Hadoop的安装比较繁琐,有如下几个原因:其一,Hadoop有非常多的版本;其二,官方文档不尽详细,有时候更新脱节,Hadoop发展的太快了;其三,网上流传的各种文档,或者是根据某些需求定制,或者加入了不必须转载 2015-08-17 13:12:37 · 451 阅读 · 0 评论 -
Hadoop2.7.1安装与配置
http://jingyan.baidu.com/article/f00622283a76c0fbd3f0c839.html原创 2015-09-17 12:35:12 · 376 阅读 · 0 评论 -
别老扯什么Hadoop了,你的数据根本不够大
本文原名“Don't use Hadoop when your data isn't that big ”,出自有着多年从业经验的数据科学家Chris Stucchio,纽约大学柯朗研究所博士后,搞过高频交易平台,当过创业公司的CTO,更习惯称自己为统计学者。对了,他现在自己创业,提供数据分析、推荐优化咨询服务,他的邮件是:stucchio@gmail.com 。 “你有多少大数据和转载 2016-01-18 11:05:30 · 499 阅读 · 0 评论 -
从零开始搭建Hadoop2.7.1的分布式集群
Hadoop 2.7.1 (2015-7-6更新),Hadoop的环境配置不是特别的复杂,但是确实有很多细节需要注意,不然会造成许多配置错误的情况。尽量保证一次配置正确防止反复修改。 网上教程有很多关于Hadoop配置的,但是每一个教程都对应了一个版本信息,有一些教程也存在很大的问题,配置环境,系统环境都没说清楚。在此我将记录下来从零搭建Hadoop2.7.1的过程,以及搭建过程中所遇到的一转载 2016-01-20 22:14:17 · 416 阅读 · 0 评论 -
Eclipse下搭建Hadoop2.7.0开发环境
一、安装Eclipse 二、在eclipse上安装hadoop插件 1、下载hadoop插件 http://download.csdn.net/detail/tondayong1981/8680589 2、把插件放到eclipse/plugins目录下 3、重启eclipse,配置Hadoop installation directo转载 2015-12-06 18:19:52 · 365 阅读 · 0 评论