2017年12月_heqianqiann

原创 SpringCloud 分布式配置中心Cloud Config使用

在分布式系统中，由于服务数量巨多，为了方便服务配置文件统一管理，实时更新，所以需要分布式配置中心组件。在Spring Cloud中，有分布式配置中心组件spring cloud config ，它支持配置服务放在配置服务的内存中（即本地），也支持放在远程Git仓库中。在spring cloud config 组件中，分两个角色，一是config server，二是config client。1.服务

2017-12-28 20:58:09 750

转载 RabbitMQ 应用场景和基本原理介绍

1.背景RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue)的开源实现。2.应用场景2.1 场景一异步处理场景说明：用户注册后，需要发注册邮件和注册短信,传统的做法有两种1.串行的方式;2.并行的方式 (1) 串行方式:将注册信息写入数据库后,发送注册邮件,再发送注册短信,以上三个任务全部完成后才返回给客户端。这有一个问题是,邮件,短信并不是必须的,

2017-12-28 11:27:40 1045

原创 Kafka 启动出现JVM内存不足异常解决方法

编辑bin/kafka-server.start.sh修改 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"为 export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"即可

2017-12-28 09:14:31 3518 2

原创 HBase Region划分策略总结

1.Region切分触发策略在最新稳定版(1.2.6)中，HBase已经有多达6种切分触发策略。当然，每种触发策略都有各自的适用场景，用户可以根据业务在表级别选择不同的切分触发策略。常见的切分策略如下图ConstantSizeRegionSplitPolicy：0.94版本前默认切分策略这是最容易理解但也最容易产生误解的切分策略，从字面意思来看，当region大小大于某个阈值(hbase.hre

2017-12-27 18:41:30 4333 1

原创 HBase 删除数据过程分析

HBase的删除过程分为单行删除、多行删除和原子性操作1.单行删除不会立即删除，而是先在指定存储单元上标记删除，等到下一次region合并或者分裂的时候才会移除数据删除行的时候，可以指定列簇、列或者列中具体数据进行删除。没有任何指定的情况下会删除整行数据。如果使用 addFamily 函数，则会删除改行中的指定列簇中的所有数据。如果使用 addColumns 函数，则会删除该行中的指定列中所有的数据

2017-12-27 17:27:05 3463

原创 HBase 行键rowkey设计原则

1.行键应该尽可能短行键存在于HBase中的每一个单元格中。如果行键越长，用于存储单元格的I/O开销就会越大。通常我们采用MD5加密的定长键来代替行键2.对于组合行键排序顺序应该取决于访问模式如果是一个以主机名和事件类型存储的日志数据库，可能的键值选取方法有以下几种：[主机名][事件类型][时间戳] ：适用于访问模式使用主机名和事件类型查询日志的方式。[事件类型][时间戳][主机名] : 适用

2017-12-27 17:17:42 2020

转载 HBase LSM树存储引擎

核心思想是放弃部分读性能，提高写性能。LSM Tree（Log-Structured Merge Tree）日志结构合并树，核心思路就是假设内存足够大，不需要每次有数据更新就必须把数据写入到磁盘中，可以先把最新的数据驻留在磁盘中，等到积累到最后多之后，再使用归并排序的方式将内存内的数据合并追加到磁盘队尾(因为所有待排序的树都是有序的，可以通过合并排序的方式快速合并到一起)。日志结构的合并树（LSM-

2017-12-26 18:28:28 917

转载 HBase 索引表结构

1. 索引表的结构在HBase中，表格的Rowkey按照字典排序，Region按照RowKey设置split point进行shard，通过这种方式实现的全局、分布式索引，成为了其成功的最大的砝码每一个索引建立一个表，然后依靠表的row key来实现范围检索。row key在HBase中是以B+ tree结构化有序存储的，所以scan起来会比较效率。单表以row key存储索引，column v

2017-12-26 14:08:20 10665

原创 Redis 如何保持和MySQL数据一致

1. MySQL持久化数据,Redis只读数据redis在启动之后，从数据库加载数据。读请求：不要求强一致性的读请求，走redis，要求强一致性的直接从mysql读取写请求：数据首先都写到数据库，之后更新redis（先写redis再写mysql，如果写入失败事务回滚会造成redis中存在脏数据）2.MySQL和Redis处理不同的数据类型MySQL处理实时性数据，例如金融数据、交易数据Redis处理

2017-12-26 11:37:57 40262 10

原创 Dubbo 简单RPC调用示例

项目使用Spring+Dubbo+ZooKeeper，使用Maven管理。先看项目结构，dubbo-api存放需要调用的接口，dubbo-provider实现接口并且暴露接口，dubbo-consumer是接口的调用方。项目依赖 <dependencies>  <dependency> <groupId>o

2017-12-22 11:37:15 5965 1

原创 Dubbo admin管理平台搭建

为了可以更好的管理Dubbo，可以先在本机搭建Dubbo管理平台 1.安装ZooKeeper环境dubbo依赖zookeeper环境，首先保证本机安装了zookeeper，至于安装方法，只需要去官网这里写链接内容下载，我这里是windows系统，这里只用到zk的单机模式，所以只要简单的修改conf下的zoo.cfg,配置好data和dataDir即可（注意要保证目录存在，否则可能会报错），至于z

2017-12-22 11:20:46 14950 1

转载 Git Rebase和Merge异同

Pages 19Home2.1 快速指南2.2 创建代码仓库2.3 保存你的更改2.4 检查仓库状态2.5 检出之前的提交2.6 回滚错误的修改2.7 重写项目历史3.2 保持同步3.3 创建Pull Request3.4 使用分支3.5 常见工作流比较4.1 图解Git命令5.1 代码合并：Merge、Rebase的选择5.2 代码回滚：Reset、Checkout、R

2017-12-22 09:59:08 474

原创 Web HttpServletRequest的getRequestURL方法获取不到https协议请求问题

问题描述：在SpringMVC中使用拦截器Intercepter拦截请求，在拦截器中使用HttpServletRequest获取拦截到的请求路径（不包含请求参数的路径），但是出现的问题是，请求的路径https协议的，程序获取到的一直是http协议的，造成后面的逻辑出现错误。原因分析：由于项目设计到SSO单点登录功能，使用到了Nginx代理，整个项目是使用Nginx+Tomcat部署的，因此Tomca

2017-12-22 09:48:21 9038 1

转载 ZooKeeper ACL权限控制

说说Zookeeper中的ACL Access Control在分布式系统中重要性是毋庸置疑的，今天这篇文章来介绍一下Zookeeper中的Access Control(ACL)。1. 概述传统的文件系统中，ACL分为两个维度，一个是属组，一个是权限，子目录/文件默认继承父目录的ACL。而在Zookeeper中，node

2017-12-19 09:43:51 490

转载 ZooKeeper Zab一致性协议

ZooKeeper简介Zookeeper是一个分布式数据一致性的解决方案，分布式应用可以基于它实现诸如数据发布/订阅，负载均衡，命名服务，分布式协调/通知，集群管理，Master选举，分布式锁和分布式队列等功能。Zookeeper致力于提供一个高性能、高可用、且具有严格的顺序访问控制能力的分布式协调系统。考虑到Zookeeper主要操作数据的状态，为了保证状态的一致性，Zookeeper提出了两个安

2017-12-17 20:46:07 523

原创 ZooKeeper 选举机制FasterLeaderElection详解

选举方式选举内容选举机制okeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是选举模式和同步模式。当服务启动或者在领导者崩溃后，Zab就进入了选举模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，选举模式就结束了。状态同步保证了leader和Server具有相同的系统状态。1.

2017-12-17 20:30:27 1036

原创分布式 Paxos和Fast Paxos算法

一. Paxos算法中的参与者主要分为三个角色，同时每个参与者又可兼领多个角色Client：产生议题者 –> 交付Proposer提出Proposer：提议者 –> 提出提案（提案编号和提议的value）Acceptor：决策者 –> 收到提案后可以决定是否acceptLearner：最终决策学习者 –> 只能学习被批准的提案Acceptor必须最少大于等于3个，并且必须是奇数个(保证一定

2017-12-17 15:28:30 2381 1

转载 HBase 初学HBase的几个问题

什么是HBase何时用HBase和HivePig的区别HBase的结构1表行列和单元格2自动分区3HBase存储格式 WAL预写式日志5HBase系统架构为何HBase速度很快HBase常用操作1. 什么是HBase?HBase，是Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。使用HBase技术可以在廉价的PC服务器上搭建起大规模结构化的

2017-12-11 20:16:47 672

转载大数据技术栈

今天看到一篇有关云计算技术文章，把虚拟化和虚机集群管理OpenStack、容器Docker和容器集群管理Kubernetes、通用资源调度管理器Mesos和大数据处理调度管理器YARN、容器隔离微服务和SOA大集成都讲透了。我也手痒想把大数据这块给大家讲讲。一. 先说各种数据存储数据是个很泛的概念，但是我们脑海里第一反应的就是关系型数据库和EXCEL这种二维表是数据。而现在数据各种各样特色，有文档、

2017-12-07 10:05:11 5578 1

原创 Hadoop 基本概念

Hadoop 是什么？Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.Hadoop 的优点Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hado

2017-12-03 10:13:48 895

转载 Hadoop HDFS的运行原理

简介HDFS（Hadoop Ditributed File Syste）是Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。② 运行在廉价的机器上。③ 适合大数据的处理。多大？多小？HDFS默认会将文件分割成b

2017-12-03 10:01:08 330

Heqianqian的博客