- 博客(85)
- 资源 (22)
- 收藏
- 关注
RSS订阅原创 【面试题】分布式事务
面试题分布式事务了解吗？你们是如何解决分布式事务问题的？面试题剖析一般来说，分布式事务的实现主要有以下 5 种方案：XA 方案 TCC 方案 本地消息表 可靠消息最终一致性方案 最大努力通知方案两阶段提交方案/XA方案所谓的 XA 方案，即：两阶段提交，有一个事务管理器的概念，负责协调多个数据库（资源管理器）的事务，事务管理器先问问各个数据库你准备好了吗？如果每个数据库都回复 ok，那么就正式提交事务，在各个数据库上执行操作；如果任何其中一个数据库回答不 ok，那么就回滚事务。
2020-05-26 11:05:57
1616
1
原创 【面试题】秒杀系统设计
秒杀业务的特点就是多个人读一个数据，难点就是读写冲突，锁情况特别的严重。所以我们尽量不要让请求落在数据库上去，让请求拦截在系统的上游。解决思路:1、限流：屏蔽掉无用的流量，允许少部分流量流向后端。2、削峰：瞬时大流量峰值容易压垮系统。常用的消峰方法有异步处理、缓存和消息中间件等技术异步处理：秒杀系统是一个高并发系统，采用异步处理模式可以极大地提高系统并发量，其实异步处理就是削峰的一种实现方式。 缓存：秒杀系统本身是一个典型的读多写少的应用场景【一趟火车其实只有2000张票，200w个人来买，.
2020-05-26 10:57:57
635
转载 Omniplan 破解码
密钥所有者都是youliyuan。OmniPlan 3：HOMJ-QOJH-OIBN-TNIH-HWUN-TEEH-WUNNKWO-HVKB-JAZE-UIHH-XAVY-BEEX-AVYBCRW-MFCE-FVEX-VEBS-LNYD-PEEL-NYDOmniPlan 3 Pro：CQPC-NNAM-MMMG-XYKD-IDPA-BEEI-DPALEUG-ZSCB-WJYR-LXIK-D...
2018-10-29 19:05:17
15075
8
转载 FSM（状态机）、HFSM（分层状态机）、BT（行为树）的区别
游戏人工智能AI中最常听见的就是这三个词拉： FSM这个不用说拉，百度一大堆解释，简单将就是将游戏AI行为分为一个一个的状态，状态与状态之间的过渡通过事件的触发来形成。比如士兵的行为有“巡逻”，“追击敌人”，“攻击敌人”，“逃跑”等行为，响应的事件就有“发现敌人”，“追到敌人”，“敌人逃跑”，“敌人死亡”，“自己血量不足”等。那么可以写成这样一个状态机：1.士兵 “巡逻”，如果 “发现敌人”，那么...
2018-04-09 19:15:50
734
转载 有赞搜索引擎实践(工程篇)
有赞搜索引擎实践(工程篇)21 MARCH 2016 on 数据, 搜索随着互联网数据规模的爆炸式增长, 如何从海量的历史, 实时数据中快速获取有用的信息, 变得越来越有挑战性. 一个中等的电商平台, 每天都要产生百万条原始数据, 上亿条用户行为数据. 一般来说, 电商数据一般有3种主要类型的数据系统:关系型数据库, 大多数互联网公司会选用mysql作为关数据库的主选, 用于存
2016-09-21 20:01:14
1472
转载 分库分表的几种常见形式以及可能遇到的难题
原文链接：http://mp.weixin.qq.com/s?__biz=MzA5Nzc4OTA1Mw==&mid=2659598135&idx=1&sn=2f1daf51d92b9c5ed06d9422fdd19d49#rd2016-09-08 丁浪 聊聊架构在谈论数据库架构和数据库优化的时候，我们经常会听到“分库分表”、“分片”、“Sharding”…这样的关键词。
2016-09-21 20:00:10
18287
转载 怎样打造一个分布式数据库
在技术方面，我自己热衷于 Open Source，写了很多 Open Source 的东西，擅长的是 Infrastructure 领域。Infrastructure 领域现在范围很广，比如说很典型的分布式 Scheduler、Mesos、Kubernetes，另外它和 Microservices 所结合的东西也特别多。Infrastructure 领域还有比如 Database 有分 AP（分析
2016-09-21 19:57:00
19817
转载 淘宝网商品SKU系统设计经验分享
前言做了两年多针对淘宝的电子商务数据线下数据系统，越到后面越觉得自己还没入门，不管技术上还是业务上，这篇文章既是对自己的积累的一次梳理，更想的是能在和各位朋友交流中，互相进步。ps:所有字段并不是正式项目所使用字段，请根据自己的业务需求进行酌情查看处理,类目属性，商品，订单结构可以参考淘宝API数据接口进行查看具体字段。商品模块设计商品模块是支撑整个架构的核心，如果
2016-06-13 19:19:10
66896
13
转载 搜索引擎选择： Elasticsearch与Solr
搜索引擎选型调研文档Elasticsearch简介*Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的
2016-06-04 11:14:18
551
转载 Docker在PHP项目开发环境中的应用
日志未经声明，均为AlloVince原创。版权采用『 知识共享署名-非商业性使用 2.5 许可协议』进行许可。选择语言▼环境部署是所有团队都必须面对的问题，随着系统越来越大，依赖的服务也越来越多，比如我们目前的一个项目就会用到：Web服务器：NginxWeb程序：PHP + Node数据库：MySQL搜索引擎：ElasticSearch队列服务：G
2016-05-28 15:58:30
4343
3
转载 scribe、chukwa、kafka、flume日志系统对比
1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。本文从设
2016-05-16 17:58:36
1959
转载 Centos7配置国内yum源
网易（163）yum源是国内最好的yum源之一 ，无论是速度还是软件版本，都非常的不错，将yum源设置为163yum，可以提升软件包安装和更新的速度，同时避免一些常见软件版本无法找到。具体设置方法如下：1，进入yum源配置目录cd /etc/yum.repos.d2，备份系统自带的yum源mv CentOS-Base.repo CentOS-Base.repo.bk下载
2016-05-09 23:03:27
35829
1
转载 CentOS7.0 PHP卸载以及安装
第一步： 卸载php5.41. 查看php版本2. 卸载php3. 查看php是否卸载php未能完成卸载，还有对应的依赖包。所以需要接着来卸载。4. 卸载php对应的依赖包网上的资料是用rpm -e来卸载，但是试了几次都提示不能找到该安装包。# rpm -e php-mysql-5.1.6-27.el5_5.3# rpm -e php-pdo-5.1.6
2016-05-09 22:36:05
2867
转载 京东商品搜索架构设计
电商搜索系统存在以下特点：数据量庞大。（上亿级别）高并发。（日均pv过亿、数十亿）一条商品数据由商品基本信息、价格、库存、促销、评价等组成，这些数据存储在各自业务系统当中。（多数据源导致构建索引比较麻烦）召回率要求高。（哪个商家发现搜不到自家的商品肯定要抓狂，哪怕有一个搜不到。）时效性要求高，价格变动、库存变动、上下架等要求近实时。（更新时间过长虽然不会造成资损，但是会严重影响
2016-05-03 09:55:30
3224
转载 MySQL索引原理及慢查询优化
MySQL凭借着出色的性能、低廉的成本、丰富的资源，已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色，但所谓“好马配好鞍”，如何能够更好的使用它，已经成为开发工程师的必修课，我们经常会从职位描述上看到诸如“精通MySQL”、“SQL语句优化”、“了解数据库原理”等要求。我们知道一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，遇到最多的，也是最容易出问
2016-05-02 21:24:24
345
转载 [MySQL FAQ]系列 — MySQL联合索引是否支持不同排序规则
篇首语：截止到目前的5.7.4版本为止，MySQL的联合索引仍无法支持联合索引使用不同排序规则，例如：ALTER TABLE t ADD INDEX idx(col1, col2 DESC)。先来了解下MySQL关于索引的一些基础知识要点：• a、EXPLAIN结果中的key_len只显示了条件检索子句需要的索引长度，但 ORDER BY、GROUP BY 子句用到的索引则不计
2016-05-02 00:14:31
392
转载 58同城赶集的数据库开发架构设计
数据库的基本概念基本概念这一块，主要是让大家就一些数据库方面的概念达成一致。首先是“单库”，最初的时候数据库都是这么玩的，几乎所有的业务都有这样的一个库。接下来是“分片”，数据库的分片是解决数据量大的问题。如果数据量非常大，就要做水平切分，有一些数据库支持auto sharding。之前58同城也用过两年mongoDB，后来发现auto sharding功能
2016-05-01 23:53:47
1562
转载 tengine-2.1.0 + lua + base64
参考：http://my.oschina.net/eduosi/blog/169606 安装 readline，lua 编译需要用到这个，centos 可以通过 yum 直接安装，如果不需要系统的，可以编译安装 yum install readlineyum install readline-devel 或者手动编译：wget -c ftp
2016-04-22 09:58:56
471
转载 可扩展性设计之数据切分
前言通过MySQLReplication功能所实现的扩展总是会受到数据库大小的限制，一旦数据库过于庞大，尤其是当写入过于频繁，很难由一台主机支撑的时候，我们还是会面临到扩展瓶颈。这时候，我们就必须许找其他技术手段来解决这个瓶颈，那就是我们这一章所要介绍恶的数据切分技术。 何谓数据切分可能很多读者朋友在网上或者杂志上面都已经多次见到关于数据切分的相关文章了，只不过在有
2016-04-16 15:45:52
2867
转载 初步对消息队列RabbitMQ的了解
https://www.bhqb.org/tag/rabbitmqRabbitMQ是流行的开源消息队列系统，用erlang语言开发，完整的实现了AMPQ（高级消息队列协议）。网站： http://www.rabbitmq.com/erlang网站：http://www.erlang.org/ 中文站：http://www.erlang-cn.com/首先，先
2016-04-11 19:08:02
4376
转载 史上最全开源大数据工具汇总
查询引擎PhoenixSalesforce公司出品，Apache HBase之上的一个SQL中间层，完全使用Java编写Stinger原叫Tez，下一代Hive, Hortonworks主导开发，运行在YARN上的DAG计算框架PrestoFacebook开源Spark SQLSpark上的SQL执行引擎P
2016-04-09 16:53:37
751
转载 关于解决 MySQL 数据库主从复制延迟的问题
像Facebook、开心001、人人网、优酷、豆瓣、淘宝等高流量、高并发的网站，单点数据库很难支撑得住，WEB2.0类型的网站中使用MySQL的 居多，要么用MySQL自带的MySQL NDB Cluster(MySQL5.0及以上版本支持MySQL NDB Cluster功能)，或者用MySQL自带的分区功能(MySQL5.1及以上版本支持分区功能)，我所知道的使用这两种方案的很少，一般使用主从
2016-04-07 20:07:19
547
转载 在线数据迁移经验：如何为正在飞行的飞机更换引擎
在线数据迁移，是指将正在提供线上服务的数据，从一个地方迁移到另一个地方，整个迁移过程中要求不停机，服务不受影响。根据数据所处层次，可以分为cache迁移和存储迁移；根据数据迁移前后的变化，又可以分为平移和转移。平移是指迁移前后数据组织形式不变，比如Mysql从1个实例扩展为4个实例，Redis从4个端口扩展到16个端口，HBase从20台机器扩展到 30台机器等等。如果在最初的设计里就为以
2016-04-06 10:27:44
489
转载 业务系统需要什么样的ID生成器
18 January 2015ID 生成器在微博我们一直叫发号器，微博就是用这样的号来存储，而我微博里讨论的时候也都是以发号器为标签。它的主要目的确如平常大家理解的“为一个分布式系统的数据object产生一个唯一的标识”，但其实在一个真实的系统里可能也可以承担更多的作用。概括起来主要有以下几点：唯一性时间相关粗略有序可反解可制造下面我会分别讲每个作用后面的考虑和权衡，也会对比介
2016-04-05 22:56:46
2409
转载 用 Redis 实现分布式锁与实现任务队列
原文出处： Kelly 这一次总结和分享用Redis实现分布式锁 与 实现任务队列 这两大强大的功能。先扯点个人观点，之前我看了一篇博文说博客园的文章大部分都是分享代码，博文里强调说分享思路比分享代码更重要（貌似大概是这个意思，若有误请谅解），但我觉得，分享思路固然重要，但有了思路，却没有实现的代码，那会让人觉得很浮夸的，在工作中的程序猿都知道，你去实现一个功能模块，一段代码，虽然你有
2016-03-31 17:20:43
460
转载 自动化运维工具SaltStack详细部署
==========================================================================================一、基础介绍==========================================================================================1、简介Sa
2016-03-30 20:34:13
3637
转载 saltstack快速安装
以下是redhat6和centos6的安装过程, centos5的同学直接跳到后面.超快的安装方法.1. 安装源1.1 安装epel源123# cd /usr/local/src/ # wget http://mirrors.sohu.com/fedora-epel/6/x86_64/epel-release-6-8.noarch.rpm# rpm -ivh e
2016-03-30 20:33:42
355
转载 用OneProxy部署MySQL数据库的读写分离
实验系统：CentOS 6.6_x86_64实验前提：防火墙和selinux都关闭实验说明：本实验共有4台主机，IP分配如拓扑实验软件：mariadb-10.0.20 oneproxy-rhel5-linux64-v5.6-ga相关如见下载地址：百度网盘下载： http://pan.baidu.com/s/1qW20zMG-----------------------
2016-03-09 11:24:39
480
转载 OneProxy分库分表演示--楼方鑫
OneProxy分库分表演示--楼方鑫0条评论 [摘要：OneProxy分库分扮演示 （杭州布衣硬件有限公司） OneProxy是为MySQL经心计划的数据拜访层，能够为任何开辟说话供应对MySQL数据库的智能数据路由功效，比方单面切换、读写分别、分库分表]OneProxy分库分表演示（杭州平民软件有限公司）
2016-03-09 11:23:43
1071
转载 linux下开启SSH，并且允许root用户远程登录,允许无密码登录
允许root登录允许root登录vi /etc/ssh/sshd_config将PermitRootLogin值改yes允许不输入密码登录将PermitEmptyPasswords yes前面的#号去掉重启服务：service sshd restart（/etc/initd.d/sshd restart）测试：ssh 或 ssh 或
2016-03-08 12:23:36
1157
转载 高性能Mysql主从架构的复制原理及配置详解
温习《高性能MySQL》的复制篇.1 复制概述 Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个
2016-02-03 11:13:05
244
转载 MySQL之Master-Master配置
近期在测试MySQL双主多个slave架构，利用keepavlied实现自动切换Master。主要工作有：1、MySQL Mater-Maste工作（前期）2、Keepavlied搭建，还可以结合MySQL Proxy实现读写分离3、处理Master-Mater-Slave之间的同步关系首先，先搭建Mater-Master的环境。
2016-01-28 19:58:50
643
转载 mysql日志详细解析
MySQL日志：主要包含：错误日志、查询日志、慢查询日志、事务日志、二进制日志；日志是mysql数据库的重要组成部分。日志文件中记录着mysql数据库运行期间发生的变化；也就是说用来记录mysql数据库的客户端连接状况、SQL语句的执行情况和错误信息等。当数据库遭到意外的损坏时，可以通过日志查看文件出错的原因，并且可以通过日志文件进行数据恢复。错误日志在mysql数
2016-01-28 19:56:50
322
转载 Mysql配置为Master/Slave的常用维护命令
master端：show master status;—查看状态：show processlist; –查看slave下mysql进程信息reset master; #慎用，将清空日志及同步positionslave端：CHANGE MASTER TO MASTER_LOG_FILE=’master.000019′;show slave status;show
2016-01-28 19:42:18
277
转载 Mysql利用mysql_multi配置一台主机多个实例
在Mysql官方帮助文档中，详细记录中Mysql的启动方式，有mysqld_safe、mysql.server、mysql_multi这三种。关于mysql_multi的介绍：Mysqld_multi可以管理多个帧听不同Unix套接字文件和TCP/IP端口的连接的mysqld 进程。它可以启动或停止服务器，或报告它们的当前状态。即可以管理多个实例。笔
2016-01-27 17:36:53
573
转载 mysql5.6 linux下安装笔记
由于现在要用mysql，以前一直用oracle ，现在下个mysql都要翻墙下载，官方网站都下不了，选择之后都是windows版本。最后找了个外国网站：http://fossies.org/linux/misc/mysql-5.6.25-linux-glibc2.5-x86_64.tar.gz/ 下载了最新版本的：mysql-5.6.25-linux-glibc2.5-x86_64.tar
2016-01-26 17:53:11
369
原创 解决mysql error: Table “mysql”.“innodb_table_stats” not found
use mysql ;/* temporary fix for problem with windows installer for MySQL 5.6.10 on Windows 7 machines. I did the procedure on a clean installed MySql, and it worked for me, at least it st
2016-01-22 11:28:06
1008
转载 mysql主从复制
mysql主从复制（超简单）怎么安装mysql数据库，这里不说了，只说它的主从复制，步骤如下：1、主从服务器分别作以下操作： 1.1、版本一致 1.2、初始化表，并在后台启动mysql 1.3、修改root的密码2、修改主服务器master: #vi /etc/my.cnf [mysqld] log-bin=my
2016-01-22 11:24:21
231
转载 CentOS安装GitLab
环境Requirements软件版本CentOS6.6Python2.6Ruby2.1.5Git1.7.10+Redis2.0+MySQL GitLab7-8-stable
2016-01-20 12:34:04
1285
转载 数据库分库分表(sharding)系列(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案
版权声明：本文由本人撰写并发表于2012年9月份的《程序员》杂志，原文题目《一种支持自由规划的Sharding扩容方案——主打无须数据迁移和修改路由代码》，此处作为本系列的第五篇文章进行转载, 本文版权归《程序员》杂志所有，未经许可不得转载！作为一种数据存储层面上的水平伸缩解决方案，数据库Sharding技术由来已久，很多海量数据系统在其发展演进的历程中都曾经历过分库分表的Sh
2016-01-12 19:48:55
657
分区助手专业版
2014-05-17
TortoiseSVN-1.6.7.18415-x64-svn-1.6.9.msi.zip
2014-04-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人