写博客只为学习

原创 Zookeeper学习笔记

[size=large][b]Zookeeper服务自身组成一个集群(2n+1个服务允许n个失效)。[/b][/size][b]Zookeeper服务有两个角色，[/b][size=medium][color=red][b]一个是leader，负责写服务和数据同步，剩下的是follower，提供读服务，leader失效后会在follower中重新选举新的leader。[/b][/color][/s...

原创 Zookeeper学习笔记

原创 Zookeeper安装学习（zoo.cfg配置详解）

[color=red][size=large][b]1.1安装前准备[/b][/size][/color][size=medium][b]1.Java6 环境要求安装[/b][/size]如果用Zookeeper在windows条件下运行，应该安装Cygwin.2.在hhtp://hadoop.apache.org/zookeeper/releases.html下载稳定释放zook...

原创 Zookeeper安装学习（zoo.cfg配置详解）

/hadoop.apache.org/zookeeper/releases.html下载稳定释放zookeeper并在合适的地方解压[code="command"]% tar xzf zookeeper-x.y.z.tar.gz[/code] [color=blue][size=medium][b]3.将如下放在在命令行路径中会为后续工作带来方便：[/b][/size][/color][code="command"]% export ZOOKEEP

原创 Zookeeper基础知识学习

[size=x-large][b]简介[/b][/size][color=red][b]ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统[/b][/color]，提供的功能包括：[color=blue][b]配置维护[/b][/color]、[color=red][b]命名服务[/b][/color]、[color=darkred]分布式同步[/col...

原创 Zookeeper基础知识学习

e][b]配置维护[/b][/color]、[color=red][b]命名服务[/b][/color]、[color=darkred]分布式同步[/color]、[color=orange]组服务[/color]等。[b]ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。[/b]Zookeeper是Google的Chubby一个开源的实现，[color=red][b]是高有效和可靠的协同工作系统[/b][/color]，Zookeeper能够

原创 Hadoop MapReduce操作Hbase范例学习（TableMapReduceUtil）

Hbase里的数据量一般都小不了，[color=red][b]因此MapReduce跟Hbase就成了天然的好搭档。[/b][/color][size=large][color=red][b]1.ZK授权表[/b][/color][/size]首先一点来说，[color=red][b]Hbase是强依赖于ZK的。[/b][/color]博主所在的team，就经常出现ZK连接数太多被...

原创 Hadoop MapReduce操作Hbase范例学习（TableMapReduceUtil）

原创 Hadoop MapReduce将HDFS文本数据导入HBase

[color=red][b]HBase本身提供了很多种数据导入的方式[/b][/color]，通常有两种常用方式：[size=medium][color=red][b]1.使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入HBase[/b][/color][/size][size=medium][color=blue][b]2.另一种...

原创 Hadoop MapReduce将HDFS文本数据导入HBase

个Mapreduce作业将数据导入HBase[/b][/color][/size][size=medium][color=blue][b]2.另一种方式就是使用HBase原生Client API[/b][/color][/size]本文就是示范如何通过MapReduce作业从一个文件读取数据并写入到HBase中。首先启动Hadoop与HBase，然后创建一个空表，用于后面导入数据：[code="command"]hbase(main):006:0> cr

原创 Hadoop MapReduce常见问题学习（shuffle-->将map输出转化成reducer输入）

[size=large][b]MapReduce是什么[/b][/size]Hadoop是一个分布式计算系统，两大核心HDFS，这是存储文件的，MapReduce这是用于计算的。[color=red][b]MapReduce是一种编程模型，类比为设计模式，好比最佳实践，编写是先写map函数，再写reduce函数。[/b][/color] [size=large][b]Shuffle是什...

原创 Hadoop MapReduce常见问题学习（shuffle-->将map输出转化成reducer输入）

原创 Hadoop MapReduce统计手机流量案例学习(结合Partitioner)

[size=large][b]统计手机上网的上行流量和下行流量[/b][/size]数据格式：[img]http://dl2.iteye.com/upload/attachment/0123/8728/ed750427-b5a9-34a0-ac37-b63b2322efa2.jpg[/img]统计手机的[color=red][b]上网流量只需要“手机号”、“上行流量”、“下行流...

原创 Hadoop MapReduce统计手机流量案例学习(结合Partitioner)

原创 Hadoop MapReduce WordCount程序编写

[code="java"]package rock.lee.wordcount;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import ...

原创 Hadoop MapReduce WordCount程序编写

org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.ap

原创 将博客搬至CSDN

将博客搬至CSDN

原创 Hadoop HBase存储原理结构学习

[size=x-large][b]一、简介[/b][/size]historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase...

原创 Hadoop HBase存储原理结构学习

e Hbase2008.1 Hadoop become Apache top-level project and Hbase becomes subproject2008.10 Hbase 0.18,0.19 released [b]hbase是bigtable的开源山寨版本。[/b][color=red][b]是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。[/b][/color]它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的

原创 Hadoop HBase完全分布式集群搭建（1.2.5）

[size=x-large][color=red][b]HBase集群搭建之前必须搭建好Hadoop和Zookeeper[/b][/color][/size][color=red][b]机组情况[/b][/color][code="txt"]master：HMasterslave03：HRegionServer[/code][color=red][b]1、安装Zookeep...

原创 Hadoop HBase完全分布式集群搭建（1.2.5）

[/code][color=red][b]1、安装Zookeeper集群[/b][/color]2、hbase-env.sh中指定JAVA_HOME、使用外部zookper集群如下配置：[code="sh"]#指定jdk安装目录export JAVA_HOME=/usr/java/jdk1.7.0_55#指明HBase不需要管理zookeeper因为zookeeper有自己的集群export HBASE_MANAGES_ZK=false[/code][

原创 Hadoop hbase-site.xml 参数收藏学习

该文档是用hbase默认配置文件生成的，文件源是 [color=red][b]hbase-default.xml[/b][/color]。在实际的HBase生产环境中应用于%HBASE_HOME%/conf/hbase-site.xml中。[size=x-large][color=red][b]hbase.rootdir[/b][/color][/size]这个目录是region ...

原创 Hadoop hbase-site.xml 参数收藏学习

x-large][color=red][b]hbase.rootdir[/b][/color][/size]这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000/hbase。默认情况下HBase是写到/tmp的。不改这个配置，数

原创 Hadoop HBase操作数据学习（shell和api）

[size=medium][color=red][b]HBase是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上,一方面里用了hdfs的高可靠性和可伸缩性,另外一方面里用了BigTable的高效数据组织形式。[/b][/color][/size][color=blue][b]可以说HBase为海量数...

原创 Hadoop HBase操作数据学习（shell和api）

原创 Hadoop HBase入门学习

[size=x-large][b]HBase是什么？ [/b][/size]HBase是Apache Hadoop中的一个子项目，[color=red][b]Hbase依托于Hadoop的HDFS作为最基本存储基础单元[/b][/color]，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作。HBas...

原创 Hadoop HBase入门学习

的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作。HBase在产品中还包含了Jetty，[color=red][b]在HBase启动时采用嵌入式的方式来启动Jetty[/b][/color]，因此[color=red][b]可以通过web界面对HBase进行管理和查看当前运行的一些状态[/b][/color]，非常轻巧。[img]http://dl2.iteye.com/upload/attachment/0123/8373/

原创 Spring Shiro配置案例分析

[size=x-large][b]在 Web 项目中应用 Apache Shiro[/b][/size]Apache Shiro 是功能强大并且容易集成的开源权限框架，它能够完成认证、授权、加密、会话管理等功能。认证和授权为权限控制的核心，简单来说，“认证”就是证明你是谁？ Web 应用程序一般做法通过表单提交用户名及密码达到认证目的。“授权”即是否允许已认证用户访问受保护资源。关于 Shir...

原创 Spring Shiro配置案例分析

原创 shiro保护你的应用程序

[size=x-large][b]什么是Apache Shiro[/b][/size]Apache Shiro（发音为“shee-roh”，日语“堡垒（Castle）”的意思）是一个强大易用的Java安全框架，[color=red][b]提供了认证、授权、加密和会话管理功能[/b][/color]，可为任何应用提供安全保障 - 从命令行应用、移动应用到大型网络及企业应用。[color=...

原创 shiro保护你的应用程序

认证、授权、加密和会话管理功能[/b][/color]，可为任何应用提供安全保障 - 从命令行应用、移动应用到大型网络及企业应用。[color=red][b]记住一点，Shiro不会去维护用户、维护权限；这些需要我们自己去设计/提供；然后通过相应的接口注入给Shiro即可。[/b][/color][img]http://dl2.iteye.com/upload/attachment/0123/8088/2c6e183d-3b81-372e-8d08-4abccab3aa0b.png[/img

原创 Hadoop MapReduce编程模型之InputFormat接口学习

MapReduce应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。[color=red]MapReduce是在总结大量应用的共同特点的基础上抽象出来的分布式计算框架，特点：任务可以分解成相互独立子问题。[/color][img]http://dl2.iteye.com/upload/attachment/0123/7506/467a97e5-fb44-3...

原创 Hadoop MapReduce编程模型之InputFormat接口学习

础上抽象出来的分布式计算框架，特点：任务可以分解成相互独立子问题。[/color][img]http://dl2.iteye.com/upload/attachment/0123/7506/467a97e5-fb44-37c9-b71e-38a4cc87da04.png[/img]上面灰色部分是整个编程模型，分为两层：所谓工具层就是增加点兼容性而已，而下面的接口层就是费神的地方了。先来点官方的，[size=medium][color=red][b]InputFormat主要用于描述数据的

原创 Hadoop 完全分布式安装配置学习（hadoop 2.6.5）

[img]http://dl2.iteye.com/upload/attachment/0124/2710/246c3da6-ff7e-363a-a6ce-1f2b4de88d13.jpg[/img][size=medium][color=red][b]一、环境说明[/b][/color][/size]1、机器：一台物理机 和一台虚拟机2、Linux版本：[Spark@S1PA11...

原创 Hadoop 完全分布式安装配置学习（hadoop 2.6.5）

原创 Hadoop 之shuffle（将map输出转化为reducer的输入的过程）

[size=x-large][b]Hadoop之shuffle[/b][/size][color=red][b]我们知道每个reduce task输入的key都是按照key排序的。[/b][/color][b]但是每个map的输出只是简单的key-value而非key-valuelist[/b]，所以洗牌的工作就是将map输出转化为reducer的输入的过程。[b]在map结束...

原创 Hadoop 之shuffle（将map输出转化为reducer的输入的过程）

原创 Hadoop之MapReduce WordCount详细分析

[size=x-large][b]MapReduce的设计思想[/b][/size]主要的思想是分而治之(divide and conquer),[color=red][b]分治算法[/b][/color]。将一个大的问题切分成很多小的问题，然后在集群中的各个节点上执行，这既是Map过程。在Map过程结束之后，会有一个Ruduce的过程，这个过程即将所有的Map阶段产出的结果进行汇...

原创 Hadoop之MapReduce WordCount详细分析

，然后在集群中的各个节点上执行，这既是Map过程。在Map过程结束之后，会有一个Ruduce的过程，这个过程即将所有的Map阶段产出的结果进行汇集。写MapReduce程序的步骤：[b]1.把问题转化为MapReduce模型[/b]2.设置运行的参数3.写map类4.写reduce类例子：统计单词个数[size=medium][color=red][b]将文件拆分成splits，每个文件为一个split，并将文件按行分割形成对[/b][/color][/size]，Map

原创 Hadoop 配置文件解析

在这里我们选用4台机器进行示范，各台机器的职责如下表格所示[img]http://dl2.iteye.com/upload/attachment/0123/5578/668ed669-52b0-367e-b262-adedb5b28906.png[/img][color=red][size=x-large][b]搭建Hadoop[/b][/size][/color][siz...