- 博客(19)
- 资源 (279)
- 问答 (4)
- 收藏
- 关注
转载 HBase篇(1)-特性与应用场景
结束了Zookeeper篇, 接下来我们来说下Google三驾马车之一BigTable的开源实现:HBase,要讲的内容暂定如下:这是第一篇我们先不聊技术实现,只讨论特性和场景hbase的特点千万级高并发 PB级存储 非结构化存储 动态列,稀疏列 支持二级索引 强一致性,可靠性,扩展性(CP系统,可用性做了一点让步)场景1. 写密集型应用,每天写入量巨大,而相对读数...
2019-11-24 12:31:40 269
转载 MySQL数据行溢出的深入理解
一、从常见的报错说起故事的开头我们先来看一个常见的sql报错信息:相信对于这类报错大家一定遇到过很多次了,特别对于OMG这种已内容生产为主要工作核心的BG,在内容线的存储中,数据大一定是个绕不开的话题。这里的数据“大”,远不止存储空间占用多,其中也包括了单个(表)字段存储多、大,数据留存时间长,数据冗余多,冷热数据不明显导致的体量大,访问峰值随着热点变化明显,逻辑处理复杂导致数据存储压...
2019-11-24 12:26:11 1255
转载 MySQL行溢出与最大行
#MySQL行溢出与最大行MySQL每个表有4096个列的硬限制,MySQL表的最大行大小限制为65535字节-- innodb_page_sizeshow variables like 'innodb_page_size';-- 文件格式show variables like 'innodb_file_format';-- 行格式show table status like 'ta...
2019-11-24 12:18:10 408
原创 MySql表大小、行大小和列大小的限制
参见官网文档:https://dev.mysql.com/doc/refman/5.7/en/column-count-limit.html#row-size-limitshttp://dev.mysql.com/doc/refman/5.7/en/table-size-limit.htmlhttp://dev.mysql.com/doc/refman/5.7/en/column-cou...
2019-11-24 01:14:11 650
转载 mysql对表列数和行大小的限制
列计数限制MySQL对于每个表具有4096个列的硬限制,但给定表的有效最大值可能较少。精确的列限制取决于几个因素: 表的最大行大小限制列的数量(可能是大小),因为所有列的总长度不能超过此大小。请参阅行大小限制 单个列的存储要求限制了适合给定最大行大小的列数。某些数据类型的存储要求取决于存储引擎,存储格式和字符集等因素。请参见数据类型存储要求 存储引擎可能会施加限制表列...
2019-11-24 01:13:28 6982
转载 [How to]HBase集群备份方法--Replication机制
1.简介 HBase备份的方法在[How to]HBase集群备份方法文章中已经有些介绍,但是这些方法都不是HBase本身的特性在支持,都是通过MR计算框架结合HBase客户端的方式,或者直接拷贝HBase的底层hdfs数据的方式进行备份的,但从操作上来说也比较繁琐复杂,数据完整性和及时性上也做的并不是很好。 本文介绍另外一种集群间的数据自动备份特性,这个特性是HBase的内部特性,用...
2019-11-23 23:50:05 227
转载 使用Spring StateMachine框架实现状态机
Spring StateMachine框架可能对于大部分使用Spring的开发者来说还比较生僻,该框架目前差不多也才刚满一岁多。它的主要功能是帮助开发者简化状态机的开发过程,让状态机结构更加层次化。前几天刚刚发布了它的第三个Release版本1.2.0,其中增加了对Spring Boot的自动化配置,既然一直在写Spring Boot的教程,所以干脆就将该内容也纳入进来吧,希望对有需求的小伙伴有一...
2019-11-15 22:55:32 234
转载 状态机引擎选型
状态机引擎选型date: 2017-06-19 15:50:18概念有限状态机是一种用来进行对象行为建模的工具,其作用主要是描述对象在它的生命周期内所经历的状态序列,以及如何响应来自外界的各种事件。在电商场景(订单、物流、售后)、社交(IM消息投递)、分布式集群管理(分布式计算平台任务编排)等场景都有大规模的使用。状态机的要素状态机可归纳为4个要素,即现态、条件、动作、次态。“...
2019-11-15 18:25:58 569
原创 JPA freemaker动态的拼接SQL
spring-data-jpa-extrahttps://github.com/slyak/spring-data-jpa-extraspring-data-jpa-template项目地址:https://gitee.com/silentwu/spring-data-jpa-template.git
2019-11-13 05:43:20 627
转载 Phoenix二级索引使用
1.添加二级索引配置 为使用Phoenix二级索引,需要开启HBase regionServer相关参数配置<property><name>hbase.regionserver.wal.codec</name><value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEdi...
2019-11-10 22:12:12 190
转载 phoenix建表映射有命名空间的hbase表
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/XDSXHDYY/article/details/964615761.先开启schema与namespace的对应关系在phoenix中与hbase的命名空间相对应的是schema概念,默认是没有开启的,需要在hbase的hbase-s...
2019-11-10 21:20:40 989
转载 浅谈Phoenix在HBase中的应用
一、前言业务使用HBase已经有一段时间了,期间也反馈了很多问题,其中反馈最多的是HBase是否支持SQL查询和二级索引,由于HBase在这两块上目前暂不支持,导致业务在使用时无法更好的利用现有的经验来查询HBase。虽然HBase本身不支持SQL,但业界还是有现成的方案来支持,如Hive、Impala、Phoenix等。众多方案各有各的优势,本文主要对Phoenix作一个大概的介绍。Ph...
2019-11-08 11:35:13 699
转载 AOP切入同类调用方法-AopContext.currentProxy()
本文链接:https://blog.csdn.net/u014788227/article/details/90111662常规使用spring的AOP功能,就是对一个service的B方法进行切入记录日志,AOP能起作用。但是假如B方法被service中的A方法调用,切入会失效,无法记录日志(这里的切入失效是指对B的切入记录日志失效,对A方法的切入还是有用的)。解释,要求熟悉动态代理原理...
2019-11-07 12:02:51 1234 1
转载 Spring AOP注解失效的坑及JDK动态代理
@Transactional @Async等注解不起作用之前很多人在使用Spring中的@Transactional, @Async等注解时,都多少碰到过注解不起作用的情况。为什么会出现这些情况呢?因为这些注解的功能实际上都是Spring AOP实现的,而其实现原理是通过代理实现的。JDK动态代理以一个简单的例子理解一下JDK动态代理的基本原理:? 1 2...
2019-11-07 12:01:52 1670
转载 java堆外内存泄漏
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/f529352479/article/details/51908655问题描述最近有个系统在做压力测试,环境配置:4核CPU 8g内存 jdk1.6.0_25,jvm配置-server -Xms2048m -Xmx2048m...
2019-11-06 11:24:37 586
转载 Kafka HA Kafka一致性重要机制之ISR(kafka replica)
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/qq_37502106/article/details/80271800一、kafka replica当某个topic的replication-factor为N且N大于1时,每个Partition都会有N个副本(Replica)。kaf...
2019-11-04 20:27:27 383
转载 Kafka中的HW、LEO、LSO等分别代表什么?
HW、LEO等概念和上一篇文章所说的ISR有着紧密的关系,如果不了解 ISR 可以先看下ISR相关的介绍。HW(High Watermark)俗称高水位,它标识了一个特定的消息偏移量(offset),消费者只能拉取到这个offset之前的消息。下图表示一个日志文件,这个日志文件中只有9条消息,第一条消息的offset(LogStartOffset)为0,最有一条消息的offset...
2019-11-04 19:13:07 2129
转载 mysql中覆盖索引、联合索引、索引下推区别
1、覆盖索引:如果查询条件使用的是普通索引(或是联合索引的最左原则字段),查询结果是联合索引的字段或是主键,不用回表操作,直接返回结果,减少IO磁盘读写读取正行数据2、最左前缀:联合索引的最左 N 个字段,也可以是字符串索引的最左 M 个字符3、联合索引:根据创建联合索引的顺序,以最左原则进行where检索,比如(age,name)以age=1 或 age= 1 and name=‘张三’...
2019-11-04 16:38:09 1320
转载 MySQL索引解析(联合索引/最左前缀/覆盖索引/索引下推)
本节内容:1)索引基础2)索引类型(Hash索引、有序数组、B+树)3)索引的几个常见问题 1)联合索引 2)最左前缀原则 3)覆盖索引 4)索引下推1. 索引基础索引对查询的速度有着至关重要的影响,理解索引也是进行数据库性能调优的起点,索引就是为了提高数据查询的效率。索引可以包含一个或多个列的值,如果索引包含多个列的值,则列的顺序也十分重要,因为...
2019-11-04 16:33:18 222
mariadb-5.5.34-winx64.zip
2018-05-12
canal.deployer-1.0.25.tar.gz
2018-05-12
mariadb-10.3.6-winx64.zip
2018-05-09
canal--mysql数据库binlog的增量订阅&消费组件
2018-05-08
redis2.8 windows 64
2018-04-16
DevCenter--Cassandra
2018-01-17
指令集时钟周期
2017-12-21
rabbitmq-server-windows-3.6.12.zip
2017-10-30
R-3.4.1(R语言sdk)
2017-08-23
RStudio-1.0.153
2017-08-23
LuaForWindows
2017-06-21
SwitchHosts
2017-02-22
erlang19安装包
2016-12-02
alibaba-otter
2016-09-30
erlang 18-release
2015-11-19
haproxy-1.5.12
2015-08-29
redis-2.4.5-win32-win64.zip
2014-11-25
Subversion--WINDOW下面的SVN命令行
2014-08-08
mybatis-generator-core-1.3.2-bundle.zip工具
2014-06-08
mariadb-10.0.7-winx64.zip
2018-05-09
弱弱问下,静态AOP到底指什么?
2015-05-08
spring quartz定时器任务时间超过定时器时间间隔,任务中断
2015-05-06
定时器退款的极端情况,该如何解决
2015-05-06
Dubbo 好处,优点是什么?
2015-04-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人