- 博客(7)
- 收藏
- 关注
RSS订阅原创 Flume NG使用
什么是flumeflume是数据采集工具，长用于日志收集。flume特点：flume版本：分为：flume OG和flume NG一般用NG，OG太复杂。（此文介绍NG）flume架构：Agent是flume的基本单元。 event是flume基本数据类型单元。也可以称之为数据格式。因为flume可以从不同的系统或数据源采集数据，而采集到数据结构也会不一致。flume对不同的数据源都统一封装为它自
2016-12-25 16:33:58
487
原创 简单的MapReduce程序wordCount
原理：关于原理我就不多说，网上太多了。我也是网上查的，当然这些东西我不写不代表不重要。恰恰相反原理和它的具体执行流程非常重要是基础，不然学的东西都很空。而我也是小白没有自己的看法与意见，即使写也是把别人的照搬过来，没啥意思，当然随着自己理解的加深，也会更新blog。大概如下图：MapReduce作业包括两个进程：JobTracker，TaskTracker。JobTracker包括n个TaskTr
2016-12-12 00:51:14
364
原创 Apache版hadoop环境搭建（伪分布式）
环境准备：一：安装linux系统CentOS-6.5-x86_64-bin-DVD1.iso二：创建用户hadoop三：配置网络 SCRT访问步骤：一：修改主机名/etc/hosts —>hadoop1 /etc/sysconfig/network —hadoop1重启……reboot二：关闭防火墙service iptables stop 关闭 (service iptables st
2016-12-05 00:59:45
338
原创 hbase-indexer环境搭建
介绍：hbase + solr是非常成熟的查询方案、但在hbase增、删、改的同时还要维护solr索引是不是很无辜。基于此CDH就提供一个服务hbase-indexer。它的主要功能就是我们只需要操作hbase，hbase-indexer可以自动把索引添加到solr中。 下面是我自己画的示意图（比较low）、简单讲hbase-indexer就是承上启下的作用。 原理我就不讲了网上太多了、本文主要
2016-11-29 20:52:18
3223
4
原创 二维数组打印
有一个二维数组(n*n),写程序实现从右上角到左下角沿主对角线方向打印。给定一个二位数组arr及题目中的参数n，请返回结果数组。测试样例：[[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,14,15,16]],4返回：[4,3,8,2,7,12,1,6,11,16,5,10,15,9,14,13]================
2015-11-06 16:38:27
411
原创 基本字符串压缩
利用字符重复出现的次数，编写一个方法，实现基本的字符串压缩功能。比如，字符串“aabcccccaaa”经压缩会变成“a2b1c5a3”。若压缩后的字符串没有变短，则返回原先的字符串。给定一个string iniString为待压缩的串(长度小于等于3000)，保证串内字符均由大小写英文字母组成，返回一个string，为所求的压缩后或未变化的串。测试样例"aabcccccaaa"
2015-11-06 08:58:36
261
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人