程裕强的专栏

大数据学习笔记(1.01^365=37.78,0.99^365=0.025)

Java设计模式之观察者模式(发布/订阅模式)

1、概述 观察者模式又称为发布/订阅(Publish/Subscribe)模式 观察者设计模式涉及到两种角色:主题(Subject)和观察者(Observer) (1)Subject模块 Subjec模块有3个主要操作 addObserver():注册添加观察者(申请订阅) delet...

2018-01-31 21:28:35

阅读数 6304

评论数 1

Eclipse导入Web项目 src、web、css、js等变成包解决办法

1.问题描述 git克隆下来一个普通的Java web项目 [root@hadron hadron]# git clone -b kylin git@192.168.1.2:hadron/web_store.git 然后Eclipse导入该web项目产生异常,整个项目成为Java Res...

2018-01-29 15:06:48

阅读数 2278

评论数 0

简单理解Zookeeper的Leader选举

Leader选举是保证分布式数据一致性的关键所在。Leader选举分为Zookeeper集群初始化启动时选举和Zookeeper集群运行期间Leader重新选举两种情况。在讲解Leader选举前先了解一下Zookeeper节点4种可能状态和事务ID概念。 1、Zookeeper节点状态 ...

2018-01-28 22:06:39

阅读数 7135

评论数 6

Zookeeper中的分布式一致性协议ZAB

1、Zab 协议 在分布式系统中实现一致性是件困难的事。 Paxos 算法可以较好的解决分布式系统的一致性,但由于复杂,在实际工程上不是很合适。 ZAB(ZooKeeper Atomic Broadcast ) 协议借鉴了 Paxos 的思想,ZAB在Paxos算法上做了重要改造,和Paxo...

2018-01-28 21:15:38

阅读数 705

评论数 0

ZooKeeper典型应用

参考了:https://www.jianshu.com/p/84ad63127cd1 1、CAP定理 1.1 CAP定理 分布式系统最多只能满足C(Consistency一致性)、A(Available可用性)、P(Partition tolerance分区容错性)三个特性中的两...

2018-01-28 17:32:23

阅读数 288

评论数 0

Java IO流处理 面试题汇总

说明:本节内容来源于网络汇总 输入输出流是相对于内存而言的! 1、面试题汇总 (1)java中有几种类型的流? 字符流和字节流。字节流继承inputStream和OutputStream,字符流继承自InputSteamReader和OutputStreamWriter...

2018-01-27 22:17:36

阅读数 17325

评论数 0

基于Lock+Condition实现生产者消费者模式

package demo; import java.util.ArrayList; import java.util.List; import java.util.concurrent.locks.Condition; import java.util.concurrent.locks.Lock...

2018-01-27 17:47:00

阅读数 280

评论数 1

Java Lock机制解读

1、synchronized synchronized是Java语言内置的特性,用来实现对资源的同步访问以及用wait和notify来实现线程间通信。如果一个代码块被synchronized修饰了,当一个线程获取了对应的锁,并执行该代码块时,其他线程便只能一直等待,等待获取锁的线程释放锁。 存...

2018-01-27 16:20:11

阅读数 1747

评论数 0

Java join线程最简单例子

1、普通多线程 package demo; public class JoinThread extends Thread { public JoinThread(String name){ super(name); } @Override ...

2018-01-27 11:22:06

阅读数 159

评论数 0

Java多线程3种实现方式

1、继承Thread类 package demo; public class FirstThread extends Thread{ private String name; // 定义name属性 public FirstThread(String name) { ...

2018-01-26 11:47:52

阅读数 150

评论数 0

Java HashSet源码分析

1、源码分析 废话不多说,直接上代码,相关解释请参见注释 package java.util; /** * * @param <E> the type of elements maintained by this set * * @se...

2018-01-26 10:37:34

阅读数 152

评论数 0

Hadoop Map中如何处理跨行Block和InputSplit

比如对于那么对于一个记录行形式的文本大于128M时,HDFS将会分成多块存储(block),同时分片并非到每行行尾。这样就会产生两个问题 1. Hadoop的一个Block默认是128M,那么对于一个记录行形式的文本,会不会造成一行记录被分到两个Block当中? 2. 在把文件从Block中读...

2018-01-24 22:41:54

阅读数 472

评论数 0

Kafka原理框架汇总

Kafka拓扑结构 1.producer:   消息生产者,发布消息到 kafka 集群的终端或服务。 2.broker:   kafka 集群中包含的服务器。 3.topic:   每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。 4.pa...

2018-01-24 15:08:39

阅读数 375

评论数 0

Flume框架原理

Flume的架构主要有一下几个核心概念: Event:一个数据单元,带有一个可选的消息头 Flow:Event从源点到达目的点的迁移的抽象 Client:操作位于源点处的Event,将其发送到Flume Agent Agent:一个独立的Flume进程,包含组件Source、Channel...

2018-01-24 14:37:50

阅读数 275

评论数 0

命令修改副本数:hadoop fs -setrep

1、hadoop fs -setrep setrep Usage: hadoop fs -setrep [-R] [-w] Changes the replication factor of a file. If path is a directory then the comman...

2018-01-23 14:31:21

阅读数 3197

评论数 0

Linux safe-rm

1、下载 (1)下载 [root@node0 ~]# wget https://launchpad.net/safe-rm/trunk/0.12/+download/safe-rm-0.12.tar.gz (2)解压缩 [root@node0 ~]# tar -zxvf safe-rm-0...

2018-01-23 11:19:05

阅读数 447

评论数 1

HBase rowkey设计案例

hbase所谓的三维有序存储的三维是指:rowkey(行主键),column key(columnFamily+qualifier),timestamp(时间戳)三部分组成的三维有序存储。 rowkey是行的主键,而且hbase只能用个rowkey,或者一个rowkey范围即scan来查找数据。...

2018-01-22 22:44:14

阅读数 2055

评论数 2

ElasticSearch 6.x 学习笔记:25.Java API之索引管理

25.1 判定索引是否存在 package cn.hadron; import org.elasticsearch.action.admin.indices.exists.indices.IndicesExistsResponse; import org.elasticsearch.cli...

2018-01-21 23:02:20

阅读数 3617

评论数 5

ElasticSearch 6.x 学习笔记:24.Java API连接Elasticsearch

24.1 实例演示 package cn.hadron; import java.net.InetAddress; import java.net.UnknownHostException; import org.elasticsearch.action.get.GetResponse; i...

2018-01-20 22:51:39

阅读数 7724

评论数 7

ElasticSearch 6.x 学习笔记:23.Java API之Maven项目

23.1 创建maven项目 (1)新建工程项目 (2)选择maven类型 (3)输入名称 (4)确认maven安装路径 (5)项目路径 (6)构建maven工程 (7)构建完成 23.2 编辑pom.xml 参考官网,编写pom.xml htt...

2018-01-20 21:47:57

阅读数 4900

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭