hadoop
文章平均质量分 92
summer900112
不会做饭的程序猿不是好船长
展开
-
简单的MapReduce程序wordCount
原理:关于原理我就不多说,网上太多了。我也是网上查的,当然这些东西我不写不代表不重要。恰恰相反原理和它的具体执行流程非常重要是基础,不然学的东西都很空。而我也是小白没有自己的看法与意见,即使写也是把别人的照搬过来,没啥意思,当然随着自己理解的加深,也会更新blog。大概如下图:MapReduce作业包括两个进程:JobTracker,TaskTracker。JobTracker包括n个TaskTr原创 2016-12-12 00:51:14 · 382 阅读 · 0 评论 -
Apache版hadoop环境搭建(伪分布式)
环境准备:一:安装linux系统CentOS-6.5-x86_64-bin-DVD1.iso二:创建用户hadoop三:配置网络 SCRT访问步骤:一:修改主机名/etc/hosts —>hadoop1 /etc/sysconfig/network —hadoop1重启……reboot二:关闭防火墙service iptables stop 关闭 (service iptables st原创 2016-12-05 00:59:45 · 347 阅读 · 0 评论 -
hbase-indexer环境搭建
介绍:hbase + solr是非常成熟的查询方案、但在hbase增、删、改的同时还要维护solr索引是不是很无辜。基于此CDH就提供一个服务hbase-indexer。它的主要功能就是我们只需要操作hbase,hbase-indexer可以自动把索引添加到solr中。 下面是我自己画的示意图(比较low)、简单讲hbase-indexer就是承上启下的作用。 原理我就不讲了网上太多了、本文主要原创 2016-11-29 20:52:18 · 3324 阅读 · 4 评论 -
SOLR:APACHE版solr环境搭建及作为Hbase二级索引使用
SOLR:APACHE版环境搭建及使用原创 2016-11-28 19:54:34 · 532 阅读 · 0 评论 -
Flume NG使用
什么是flumeflume是数据采集工具,长用于日志收集。flume特点:flume版本:分为:flume OG和flume NG一般用NG,OG太复杂。(此文介绍NG)flume架构:Agent是flume的基本单元。 event是flume基本数据类型单元。也可以称之为数据格式。因为flume可以从不同的系统或数据源采集数据,而采集到数据结构也会不一致。flume对不同的数据源都统一封装为它自原创 2016-12-25 16:33:58 · 515 阅读 · 0 评论