2017年01月_ZhiYuanYe

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创使用Lock,Condition解决三个线程依次轮流打印出75个数

import java.util.concurrent.locks.Condition;import java.util.concurrent.locks.Lock;import java.util.concurrent.locks.ReentrantLock;public class CountTo_75 { public static void main(String[] args)

2017-01-26 22:10:37 835

原创手动实现Spring Aop

Aop，百度百科的解释：在软件业，AOP为Aspect Oriented Programming的缩写，意为：面向切面编程，通过预编译方式和运行期动态代理实现程序功能的统一维护的一种技术。AOP是OOP的延续，是软件开发中的一个热点，也是Spring框架中的一个重要内容，是函数式编程的一种衍生范型。利用AOP可以对业务逻辑的各个部分进行隔离，从而使得业务逻辑各部分之间的耦合度降低，提高程序的可重用性

2017-01-22 22:13:05 3403 1

原创 HBase Shell编写

进入hbase命令行 ./hbase shell显示hbase中的表 list创建user表，包含info、data两个列族 create ‘user’, ‘info1’, ‘data1’ create ‘user’, {NAME => ‘info’, VERSIONS => ‘3’}向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsa

2017-01-05 11:30:21 682

原创 Sqoop简介与实例

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置

2017-01-04 17:46:02 2016

原创 Shuffle工作机制

Hadoop生态系统中，Shuffle是MapReduce的核心机制，它肩负了从Map到Reduce的底层过程。一个切片input split对应一个mapper，mapper将数据写入到环形缓冲区；这个环形缓冲区默认是100M，当它达到默认阀值80%的时候，它会将数据溢写（spill）到磁盘，在写磁盘过程中，map继续输出被写到缓冲区，如果在此期间缓冲区被填满，map会阻塞直到缓冲区被填满；

2017-01-04 08:55:00 4218

转载 Hadoop机架感知原理

背景分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。具体到Hadoop集群，由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储，每个bloc

2017-01-03 13:28:51 4994