大数据
luchi007
这个作者很懒,什么都没留下…
展开
-
Hadoop笔记之一:安装单节点集群
Hadoop入坑搞数据挖掘的还不会Hadoop/spark,感觉各种丢人,看了一眼天池的比赛,都不知道从哪儿下手,决定痛下决心搞一搞Hadoop,也算是渣硕的救赎吧。之前还在犹豫是从Hadoop开始还是从spark开始,虽然spark最近很流行,据说还有替代Hadoop的趋势,不过毕竟spark是在Hadoop之后的,吸取了Hadoop的一些优点,也提出了新的优点比如(RDD之类的),不过本渣硕还是原创 2016-10-10 20:11:15 · 1841 阅读 · 0 评论 -
Hadoop笔记之三:WordCount实验续
## 引言 ## 在上一篇的文章中,基本了解了Hadoop的Map-Reduce大致框架,根据官方教程,对WordCount实验有了新的补充,补充基本是在Map-Reduce中加入作业Job的一些控制信息,这就来看下。 ## 实验 ## 先上文档的代码package com.luchi.wordcount;import java.io.BufferedReader;import jav原创 2016-11-11 10:30:44 · 1248 阅读 · 0 评论 -
Hadoop笔记之二:运行WordCount实验
实验环境Hadoop版本:Hadoop2.7.3 linux版本:Ubuntu JDK版本:JDK1.7实验步骤设置HADOOP的PATH和HADOOP CLASSPATH(这里假设java的相关路径已经配置好)export HADOOP_HOME=/home/luchi/Hadoop/hadoop-2.7.3export PATH=${HADOOP_HOME}/bin:$PATHexp原创 2016-10-17 16:02:47 · 6046 阅读 · 0 评论