![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 76
我想问问天
欢迎访问我的github地址:https://github.com/wxwwt
segmentfault:https://segmentfault.com/u/wxwwt
公众号:我想问问天(关注领取学习资料)
展开
-
hadoop分布式缓存的使用
介绍 DistributedCache是hadoop框架提供的一种机制,可以将job指定的文件,在job执行前,先行分发到task执行的机器上,并有相关机制对cache文件进行管理。 缓存内容是在文件中的,各个节点可以根据hdfs中访问路径来读取缓存。 使用步骤 1.添加分布式缓存的时候, 先定义缓存的路径 String cacheFile = "hdfs://xxxx"; 可以设置别名 “#”...原创 2020-01-20 17:11:48 · 426 阅读 · 0 评论 -
hadoop伪分布式安装记录
引语: 最近想接触一些大数据相关的技术,所以有了这篇文章,其实就是记录一下自己学习hadoop的过程,如果文章中有啥写的不对的地方,还望指正(有java开发经验,但是是大数据小白一只,各位大神轻喷.) 我先是在网上搜索了一波大数据应该要学些什么技术,基本上不约而同的都是指向了hadoop. 摘自维基百科...原创 2019-07-28 23:21:37 · 404 阅读 · 0 评论 -
动手写的第一个MapReduce程序--wordcount
引语: 之前运行过了hadoop官方自带的第一个例子wordcount,这次我们自己手写一个,这个相当于是编程语言中的helloworld一样. 首先我们了解一下我们要写的MapReduce是处理的哪个部分,我们知道hadoop处理文件是先将要处理的文件拆分成很多个部分,分别处理完成,最后再将结果给汇聚起来, 形成最终的处理结果.(也就是分治法的思想...原创 2019-09-15 22:00:05 · 465 阅读 · 0 评论