Heqianqian的博客

盛年不再有,一日难再晨,及时当勉励,岁月不待人.

SpringCloud 分布式配置中心Cloud Config使用

在分布式系统中,由于服务数量巨多,为了方便服务配置文件统一管理,实时更新,所以需要分布式配置中心组件。在Spring Cloud中,有分布式配置中心组件spring cloud config ,它支持配置服务放在配置服务的内存中(即本地),也支持放在远程Git仓库中。在spring cloud c...

2017-12-28 20:58:09

阅读数 358

评论数 0

RabbitMQ 应用场景和基本原理介绍

1.背景RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue)的开源实现。2.应用场景2.1 场景一 异步处理场景说明:用户注册后,需要发注册邮件和注册短信,传统的做法有两种1.串行的方式;2.并行的方式 (1) 串行方式:将注册信息写入数据库后,发送注...

2017-12-28 11:27:40

阅读数 626

评论数 0

Kafka 启动出现JVM内存不足异常解决方法

编辑bin/kafka-server.start.sh修改 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"为 export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" 即可

2017-12-28 09:14:31

阅读数 1770

评论数 1

HBase Region划分策略总结

1.Region切分触发策略在最新稳定版(1.2.6)中,HBase已经有多达6种切分触发策略。当然,每种触发策略都有各自的适用场景,用户可以根据业务在表级别选择不同的切分触发策略。常见的切分策略如下图 ConstantSizeRegionSplitPolicy:0.94版本前默认切分策略 这是最...

2017-12-27 18:41:30

阅读数 1628

评论数 1

HBase 删除数据过程分析

HBase的删除过程分为单行删除、多行删除和原子性操作1.单行删除不会立即删除,而是先在指定存储单元上标记删除,等到下一次region合并或者分裂的时候才会移除数据删除行的时候,可以指定列簇、列或者列中具体数据进行删除。没有任何指定的情况下会删除整行数据。如果使用 addFamily 函数,则会删...

2017-12-27 17:27:05

阅读数 1235

评论数 0

HBase 行键rowkey设计原则

1.行键应该尽可能短行键存在于HBase中的每一个单元格中。如果行键越长,用于存储单元格的I/O开销就会越大。通常我们采用MD5加密的定长键来代替行键2.对于组合行键 排序顺序应该取决于访问模式如果是一个以主机名和事件类型存储的日志数据库,可能的键值选取方法有以下几种: [主机名][事件类型][时...

2017-12-27 17:17:42

阅读数 900

评论数 0

HBase LSM树存储引擎

核心思想是放弃部分读性能,提高写性能。LSM Tree(Log-Structured Merge Tree)日志结构合并树,核心思路就是假设内存足够大,不需要每次有数据更新就必须把数据写入到磁盘中,可以先把最新的数据驻留在磁盘中,等到积累到最后多之后,再使用归并排序的方式将内存内的数据合并追加到磁...

2017-12-26 18:28:28

阅读数 495

评论数 0

HBase 索引表结构

1. 索引表的结构在HBase中,表格的Rowkey按照字典排序,Region按照RowKey设置split point进行shard,通过这种方式实现的全局、分布式索引,成为了其成功的最大的砝码每一个索引建立一个表,然后依靠表的row key来实现范围检索。row key在HBase中是以B+ ...

2017-12-26 14:08:20

阅读数 4884

评论数 0

Redis 如何保持和MySQL数据一致

1. MySQL持久化数据,Redis只读数据redis在启动之后,从数据库加载数据。读请求:不要求强一致性的读请求,走redis,要求强一致性的直接从mysql读取写请求:数据首先都写到数据库,之后更新redis(先写redis再写mysql,如果写入失败事务回滚会造成redis中存在脏数据)2...

2017-12-26 11:37:57

阅读数 19951

评论数 4

Dubbo 简单RPC调用示例

项目使用Spring+Dubbo+ZooKeeper,使用Maven管理。先看项目结构,dubbo-api存放需要调用的接口,dubbo-provider实现接口并且暴露接口,dubbo-consumer是接口的调用方。项目依赖 <dependencies> &l...

2017-12-22 11:37:15

阅读数 2799

评论数 1

Dubbo admin管理平台搭建

为了可以更好的管理Dubbo,可以先在本机搭建Dubbo管理平台 1.安装ZooKeeper环境dubbo依赖zookeeper环境,首先保证本机安装了zookeeper,至于安装方法,只需要去官网这里写链接内容 下载,我这里是windows系统,这里只用到zk的单机模式,所以只要简单的修改con...

2017-12-22 11:20:46

阅读数 13822

评论数 1

Git Rebase和Merge异同

Pages 19Home 2.1 快速指南 2.2 创建代码仓库 2.3 保存你的更改 2.4 检查仓库状态 2.5 检出之前的提交 2.6 回滚错误的修改 2.7 重写项目历史 3.2 保持同步 3.3 创建Pull Request 3.4 使用分支 3.5 常见工作流比较 4.1 图解Git命...

2017-12-22 09:59:08

阅读数 287

评论数 0

Web HttpServletRequest的getRequestURL方法获取不到https协议请求问题

问题描述:在SpringMVC中使用拦截器Intercepter拦截请求,在拦截器中使用HttpServletRequest获取拦截到的请求路径(不包含请求参数的路径),但是出现的问题是,请求的路径https协议的,程序获取到的一直是http协议的,造成后面的逻辑出现错误。原因分析:由于项目设计到...

2017-12-22 09:48:21

阅读数 4531

评论数 1

ZooKeeper ACL权限控制

说说Zookeeper中的ACL Access Control在分布式系统中重要性是毋庸置疑的,今天这篇文章来介绍一下Zookeeper中的Access Control(ACL)。 1. 概述传统的文件系统中,ACL分为...

2017-12-19 09:43:51

阅读数 294

评论数 0

ZooKeeper Zab一致性协议

ZooKeeper简介Zookeeper是一个分布式数据一致性的解决方案,分布式应用可以基于它实现诸如数据发布/订阅,负载均衡,命名服务,分布式协调/通知,集群管理,Master选举,分布式锁和分布式队列等功能。Zookeeper致力于提供一个高性能、高可用、且具有严格的顺序访问控制能力的分布式协...

2017-12-17 20:46:07

阅读数 385

评论数 0

ZooKeeper 选举机制FasterLeaderElection详解

选举方式 选举内容 选举机制okeeper的核心是原子广播,这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式,它们分别是选举模式和同步模式。当服务启动或者在领导者崩溃后,Zab就进入了选举模式,当领导者被选举出来,且大多数Server完成了和lead...

2017-12-17 20:30:27

阅读数 412

评论数 0

分布式 Paxos和Fast Paxos算法

一. Paxos算法中的参与者主要分为三个角色,同时每个参与者又可兼领多个角色 Client:产生议题者 –> 交付Proposer提出 Proposer:提议者 –> 提出提案(提案编号和提议的value) Acceptor:决策者 –> 收到提案后可以决定是否accept L...

2017-12-17 15:28:30

阅读数 859

评论数 0

HBase 初学HBase的几个问题

什么是HBase 何时用HBase 和HivePig的区别 HBase的结构 1表行列和单元格 2自动分区 3HBase存储格式 WAL预写式日志 5HBase系统架构 为何HBase速度很快 HBase常用操作1. 什么是HBase?HBase,是Hadoop Database,是一个高可靠性...

2017-12-11 20:16:47

阅读数 412

评论数 0

大数据 技术栈

今天看到一篇有关云计算技术文章,把虚拟化和虚机集群管理OpenStack、容器Docker和容器集群管理Kubernetes、通用资源调度管理器Mesos和大数据处理调度管理器YARN、容器隔离微服务和SOA大集成都讲透了。我也手痒想把大数据这块给大家讲讲。一. 先说各种数据存储数据是个很泛的概念...

2017-12-07 10:05:11

阅读数 3991

评论数 1

Hadoop 基本概念

Hadoop 是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用Java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供...

2017-12-03 10:13:48

阅读数 406

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭