抓哇小王子-CSDN博客

转载一个最不可思议的MySQL死锁分析

1 死锁问题背景 11.1 一个不可思议的死锁 11.1.1 初步分析 31.2 如何阅读死锁日志 32 死锁原因深入剖析 42.1 Delete操作的加锁逻辑 42.2 死锁预防策略 52.3 剖析死锁的成因 6

2015-04-28 19:25:46 2884

转载高性能Mysql主从架构的复制原理及配置详解

温习《高性能MySQL》的复制篇.1 复制概述 Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个

2015-04-24 13:02:41 357

转载从Hadoop框架与MapReduce模式中谈海量数据处理（淘宝技术架构）

从hadoop框架与MapReduce模式中谈海量数据处理前言几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理。由此，最近凡是空

2015-04-16 19:26:23 428

转载淘宝开源MQ——metaq的详细文档

介绍基础概念和术语定义消息的可靠性、顺序和重复如何开始简单例子服务端配置管理集群和负载均衡高可用配置(异步复制和同步复制)路线图FAQ最佳实践官方手册(word文档) Developer参与贡献设计通讯协议消息的存储关联项目metamorphosis-example:示例项目storm-met

2015-04-10 11:30:16 560

转载分布式Hadoop集群安装配置

1 前期准备，配置所有的机器的/etc/hosts 文件# cat /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail.127.0.0.1 rac localhost::1

2015-03-24 12:32:13 325

转载 jvisualvm远程连接tomcat

在tomcat的catalina.sh中配置JAVA_OPTS=’-Dcom.sun.management.jmxremote.port=1099 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Djava.rmi.server.hostname=192.

2015-03-17 18:29:56 367

转载 Java程序内存分析：使用mat工具分析内存占用

在工作中可能会遇到内存溢出这种灾难性的问题，那么程序肯定是存在问题，找出问题至关重要，上一篇文章讲了jmap命令的使用方法，当然用jmap导出的文件我们也看不懂啊，那就交给memory analyzer(mat)这个工具，让他帮助我们来观察程序的内存分布情况吧。jmap mat 内存分析目录[-]1. 用jmap生成堆信息2. 将堆信息导入到mat中分析

2015-03-17 18:27:55 582

转载 Storm实时计算：流操作入门编程实践

Storm是一个分布式是实时计算系统，它设计了一种对流和计算的抽象，概念比较简单，实际编程开发起来相对容易。下面，简单介绍编程实践过程中需要理解的Storm中的几个概念：TopologyStorm中Topology的概念类似于Hadoop中的MapReduce Job，是一个用来编排、容纳一组计算逻辑组件（Spout、Bolt）的对象（Hadoop MapReduce中一个Jo

2015-03-13 09:48:06 1284

转载 Spark：一个高效的分布式计算系统

概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习

2015-01-13 10:54:15 417

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee

2015-01-12 18:00:36 355

转载 Java教程]并发框架Disruptor浅析

1、引言　　Disruptor是一个开源的Java框架，它被设计用于在生产者—消费者（producer-consumer problem，简称PCP）问题上获得尽量高的吞吐量（TPS）和尽量低的延迟。Disruptor是LMAX在线交易平台的关键组成部分，LMAX平台使用该框架对订单处理速度能达到600万TPS，除金融领域之外，其他一般的应用中都可以用到Disruptor，它可以带来显著的

2015-01-09 16:18:27 4774 1

转载 Zookeeper集群配置部署

一.服务器配置按照zookeeper的选举算法，zookeeper的服务器数量最好为奇数，本文三台机器为例 1.关闭防火墙?1/etc/init.d/iptables stop二.zookeeper配置1.目录规划用途目录

2015-01-09 14:08:52 438 1

转载对于Netty的十一个疑问

1．Netty 是什么？　　Netty 是一个基于 JAVA NIO 类库的异步通信框架，它的架构特点是：异步非阻塞、基于事件驱动、高性能、高可靠性和高可定制性。　　2．使用 Netty 能够做什么？开发异步、非阻塞的 TCP 网络应用程序；开发异步、非阻塞的 UDP 网络应用程序；开发异步文件传输应用程序；开发异步 HTTP 服务端和客户端应用

2015-01-08 11:04:13 575

转载 JAVA CAS原理深度分析

看了一堆文章，终于把JAVA CAS的原理深入分析清楚了。感谢GOOGLE强大的搜索，借此挖苦下百度，依靠百度什么都学习不到！参考文档：http://www.blogjava.net/xylz/archive/2010/07/04/325206.htmlhttp://blog.hesey.net/2011/09/resolve-aba-by-atomics

2014-08-12 11:01:45 310

转载 jstack

jstack观察jvm中当前所有线程的运行情况和线程当前状态。系统崩溃了？如果java程序崩溃生成core文件，jstack工具可以用来获得core文件的java stack和native stack的信息，从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。系统hung住了？jstack工具还可以附属到正在运行的java程序中，看到当时运行的java程序的java stac

2014-07-22 12:21:13 698

原创 jstat, jmap

jstack观察jvm中当前所有线程的运行情况和线程当前状态。系统崩溃了？如果java程序崩溃生成core文件，jstack工具可以用来获得core文件的java stack和native stack的信息，从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。系统hung住了？jstack工具还可以附属到正在运行的java程序中，看到当时运行的java程序的java stac

2014-07-22 12:20:21 547

原创 windows 下mysql忘记root密码

1、在DOS窗口下输入net stop mysql5 或 net stop mysql 2、开一个DOS窗口，这个需要切换到mysql的bin目录。一般在bin目录里面创建一个批处理1.bat,内容是cmd.exe运行一下即可就切换到当前目录，然后输入mysqld-nt --skip-grant-tables; 3、再开一个DOS窗口，mysql -u root 4

2014-07-01 15:48:36 340

转载阿里巴巴开源项目：分布式数据库同步系统otter(解决中美异地机房)

项目背景阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。 otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基

2014-06-09 13:36:38 1007

转载阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费

背景早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志解析

2014-05-26 17:51:20 600

原创 TokuMX

MongoDB拥有灵活的文档型数据结构和方便的操作语法，在新兴的互联网应用中得到了广泛的部署，但对于其底层的存储引擎，我一直有一些保留意见。据我了解，其采用了MMAP的方式来操作数据文件，这就导致我们无法限制MongoDB进程所使用的内存容量，目前最好的部署办法就只能是将其单独部署在一台服务器上。另外，MongoDB也不能严格的支持事务，对于并发写入的锁的粒度也非常粗。TokuMX的出

2014-05-16 11:07:12 826

转载关于 MongoDB 你需要知道的几件事

Henrique Lobo Weissmann是一位来自于巴西的软件开发者，他是itexto公司的联合创始人，这是一家咨询公司。近日，Henrique在博客上撰文谈到了关于MongoDB的一些内容，其中有些观点值得我们，特别是正在和打算使用MongoDB的开发者关注。到目前为止，MongoDB在巴西是最为流行的NoSQL数据库（至少根据关于MongoDB的博客数量以及文章所判断）。Mong

2014-05-16 11:01:12 479

转载线程安全的单例模式

面试的时候，常常会被问到这样一个问题：请您写出一个单例模式（Singleton Pattern）吧。好吧，写就写，这还不容易。顺手写一个：publicfinal classEagerSingleton { privatestatic EagerSingletonsingObj = newEagerSingleton(); privateEag

2014-05-15 16:39:04 423

转载 Java_BIO/NIO/AIO

(一) BIO传统的server/client实现是基于thread per request.(二) NIO最核心的一点就是反应器模式：当有感兴趣的事件发生时，就通知对应的事件处理器去处理事件，如果没有，则不处理。所以使用一个线程做轮询就可以了。JDK1.4中推出NIO，对高速地块读取、对I/O多路复用和非阻塞进行支持。考虑到流I/O采用阻塞

2014-05-15 13:35:29 533

原创单实例支撑每天上亿个请求的SSDB

在一个网站广告系统中, 需要针对每一个用户所接受的弹窗次数和点击次数这两个重要指标进行统计, 从而进行效果分析和精准投放的改进. 这两个指标的统计算法其实非常简单, 主要的难点在于大数据量. 广告系统的涉及的用户量达到数千万人, 每天的日志数据量是几亿条.最开始的想法是使用 MySQL 数据库, 不过这个方案马上就被否, 因为如此大量数据已经远远超过 MySQL 的存储能力, 必定带来许多

2014-05-06 15:07:56 437

原创 MongoDB之Replica Set

Master-Slave模式的时候，一旦Master停掉，Java客户端就会报异常，这个时候已经没有Master了，Slave不会自动接管MasterReplica Sets 也是一种Master-Slave，但它更健壮，一旦Master停掉后，将会在Slave中选举一个作为Master，这种方式也是官方推荐的。可以参考http://www.mongodb.org/display/DOCS

2014-04-22 10:20:18 404

原创 MongoDB相关设置

1 最大连接数设置调整办法是在/etc/rc.local中添加配置项：文件限制 ulimit -n 2048 MongoDB启动 ./mongod --dbpath=/data/mongodb_data/ --logpath=/data/mongodb_log/mongodb

2014-04-01 12:24:53 833

原创 Java虚拟机调优原理及技巧

Java虚拟机调优原理及技巧一、相关概念基本回收算法引用计数（Reference Counting）比较古老的回收算法。原理是此对象有一个引用，即增加一个计数，删除一个引用则减少一个计数。垃圾回收时，只用收集计数为0的对象。此算法最致命的是无法处理循环引用的问题。标记-清除（Mark-Sweep）此算法执行分两阶段。第一阶段从引用根节点开始标记所有

2014-03-31 18:54:52 444

转载一致性 hash 算法

consistent hashing 一致性 hash 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出，目前在 cache 系统中应用越来越广泛。基本场景比如你有 N 个 cache 服务器（后面简称 cache ），那么如何将一个对象 object 映射到 N 个 cache 上呢，你很可能会采用类似下面的通用方法

2014-03-28 16:59:41 362

转载基于智能语音识别的云电视系统设计

为了提高智能电视的可操作性，文章提出了一种基于智能语音设别的云电视系统设计方案。该系统在传统的智能电视上加入语音输入和云端网络技术，对语音智能处理之后达到操作电视的作用，可以通过语音输入自动查找或者使用电视功能，提高了智能电视的可操作性，让智能电视使用更方便，适合更多的使用人群。当前，随着计算机和互联网技术的高速发展、3c融合的趋势以及电视机的数字化发展，作为家庭娱乐核心家电的电视

2014-03-24 15:12:55 1757

原创 Java远程服务器端Debug调式

catalina.sh 中设置 JAVA_OPTS="$JAVA_OPTS -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -XX:PermSize=512m -XX:MaxPermSize=1024m -Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:tr

2014-03-24 12:31:26 535

u014313492的专栏