hadoop
宇毅
初级工程师一枚,一直以来都是看别人的技术博客学习,少走了不少弯路。受人恩惠颇多,而后也想回馈他人,所以把自己经历分享下,也希望我写的东西也能让他人有所收获。
展开
-
Mac下搭建hadoop伪分布式及eclipse开发环境
本文分三个部分,首先是mac下搭建hadoop伪分布式集群,然后搭建eclispe下hadoop调试环境,最后配置hadoop源码,便于学习。Mac下Hadoop伪分布式搭建1. Hadoop下载源码包和编译后的包都要下载。这里我用的是hadoop-2.6.4,下载地址如下: https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/原创 2016-11-13 13:42:33 · 3708 阅读 · 3 评论 -
Hadoop MapReduce 读写Elasticsearch
最近需要调研hadoop MR和ES进行交互。自然就用到了ES官方的Elasticsearch-Hadoop插件。然而官方的资料,尤其是实现部分,写的感觉不太详细。跳了点坑,然后总结了这篇文章,本文很大程度上是官网资料的具体代码实现。原创 2016-12-19 21:10:52 · 11440 阅读 · 5 评论