hadoop
菜 头
java从入门到放弃,菜鸟飞不起。。。
展开
-
hadoop学习记(1)--集群安装部署
下载hadoop官网是:Hadoop.apache.org直接打开这个链接即可下载最新文档版,我下载到的是hadoop-2.9的安装1.我就准备用上两台机子吧;namenode192.168.27.131datanode192.168.27.131datanode192.168.27.1282.关掉防火原创 2017-12-21 14:28:36 · 323 阅读 · 0 评论 -
hadoop学习记(2)--HDFS+yarn+MapReduce关系与原理
什么是hadoop?Hadoop无非就是:HDFS(文件系统),yarn(任务调配),mapReduce(编程模型,大数据并行运算),我们安装完hadoop就已经包括了以上;Hadoop集群其实就是HDFS集群,说到HDFS,下面来谈谈什么是HDFSHDFS其实就是个文件系统,和fastDFS类似,像百度云,阿里云等就是个文件存储系统,当然一般如果仅仅是为了用来存储文件的话直接fast原创 2017-12-22 10:08:05 · 12179 阅读 · 3 评论 -
hadoop学习记(3)--HDFS(java_demo)
这篇我就直接开始java代码编写啦,其实就是调用hadoop的api,对HDFS进行增删改查操作,HDFS本身对外提供服务是没有什么密码验证的,只认用户名,所以我们是需要对它进行一步封装,然后再提供我们封装好后的api。这里我就只是简单的写个demo,很简单,我直接贴代码pom.xml文件: org.apache.hadoop hadoop-common 2.5原创 2017-12-22 16:43:10 · 442 阅读 · 0 评论 -
hadoop学习记(4)--MapReduce(wordcount)
mapreduce原理我就不讲了,这篇以及讲过这篇学习如何通过java来编写一个mapreduce模型的wordcount程序用于统计单词出现个数所需的jar包与上一篇一致编码TokenizerMapper.javapackage com.cwh.mapreduce;import java.io.IOException;import org.apac原创 2017-12-26 11:08:42 · 281 阅读 · 0 评论