追寻北极-CSDN博客

转载 MySQL binlog 组提交与 XA(分布式事务、两阶段提交)【转】

概念： XA(分布式事务)规范主要定义了(全局)事务管理器(TM: Transaction Manager)和(局部)资源管理器(RM: Resource Manager)之间的接口。XA为了实现分布式事务，将事务的提交分成了两个阶段：也就是2PC (tow phase commit)，XA协议就是通过将事务的提交分为两个阶段来实现分布式事务。两阶段：1）prep

2017-11-01 18:17:38 576

转载聊聊分布式事务

事务就是一个会话过程中，对上下文的影响是一致的，要么所有的更改都做了，要么所有的更变都撤销掉。就要么生，要么死。没有半死不死的中间不可预期状态。参考下薛定谔的猫。事务是为了保障业务数据的完整性和准确性的。分布式事务，常见的两个处理办法就是两段式提交和补偿。两段式提交典型的就是XA，有个事务协调器，告诉大家，来都准备好提交，大家回复，都准备好了，然后协调器告诉

2017-11-01 18:08:31 218

转载对分布式事务及两阶段提交、三阶段提交的理解

一、分布式数据一致性在分布式系统中，为了保证数据的高可用，通常会将数据保留多个副本(replica)，这些副本会放置在不同的物理的机器上。（1）什么是数据一致性在数据有多份副本的情况下，如果网络、服务器或者软件出现故障，会导致部分副本写入成功，部分副本写入失败。这就造成各个副本之间的数据不一致，数据内容冲突。造成事实上的数据不一致。（2）CAP定理C

2017-11-01 17:56:46 268

转载事务与两阶段提交

事务事务是保证数据库从一个一致性的状态永久性地变成另一个一致性状态的根基ACIDACID是事务基本特性：A是Atomicity，原子性。一个事务往往涉及到许多的子操作，原子性则保证这些子操作要么都做，要么都不做，不能出现部分操作成功，而另外一部分操作失败情形，基于此原则，如果事务在执行的中发生异常，那么数据库将回滚到事务发生之前的状态。C是Consistency，一致性

2017-11-01 17:33:03 386

转载 JTA分布式事务实战(atomikos)

最近需要用到分布式事务，研究了下jta，使用了atomikos这个jta的实现，使用的是spring3.0，废话少说，直接贴代码。1.使用如下jar包atomikos-util.3.7.0.jarcglib-nodep-2.2.2.jartransactions-3.7.0.jartransactions-api-3.7.0.jartransacti

2017-11-01 17:31:34 2248

转载更快、更强——解析Hadoop新一代MapReduce框架Yarn

背景Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困难，所以MapReduce的co

2017-10-27 10:32:01 342

转载 Hadoop MapReduce原理及实例

MapReduce是用于数据处理的一种编程模型，简单但足够强大，专门为并行处理大数据而设计。1. 通俗理解MapReduceMapReduce的处理过程分为两个步骤：map和reduce。每个阶段的输入输出都是key-value的形式，key和value的类型可以自行指定。map阶段对切分好的数据进行并行处理，处理结果传输给reduce，由reduce函数完成最后的汇总。例

2017-10-26 18:14:48 501

转载几个有关hadoop生态系统的架构图

1、hadoop1.0时期架构2、hadoop2.0时期架构3、hdfs架构Active Namenode主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求Secondary NameNodeNameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；当

2017-10-26 18:13:34 2931

转载 Hadoop之MapReduce

摘要：MapReduce是Hadoop的又一核心模块，从MapReduce是什么，MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。关键词：Hadoop MapReduce 分布式处理面对大数据，大数据的存储和处理，就好比一个人的左右手，显得尤为重要。Hadoop比较适合解决大数据问题，很大程度上依赖其大数据存储系统，即HDFS和大

2017-10-26 18:11:10 440

转载【Hadoop】HDFS的运行原理

简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。

2017-10-26 18:03:24 202

转载 Hive和HBase的整合原理

Point 1：配置 hive 与 hbase 整合的目的是利用 HQL 语法实现对 hbase 数据库的增删改查操作，基本原理就是利用两者本身对外的API接口互相进行通信，两者通信主要是依靠hive_hbase-handler.jar工具类。但请注意：使用Hive操作HBase中的表，只是提供了便捷性，hiveQL引擎使用的是MapReduce，对于性能上，表现比较糟糕，在实际应用过程中

2017-10-26 17:34:39 548

转载 Hive与Hbase关系整合

近期工作用到了Hive与Hbase的关系整合，虽然从网上参考了很多的资料，但是大多数讲的都不是很细，于是决定将这块知识点好好总结一下供大家分享，共同掌握！本篇文章在具体介绍Hive与Hbase整合之前，先给大家用一个流程图介绍Hadoop业务的开发流程以及Hive与Hbase的整合在业务当中的必要性。其中在数据存入hbase—>Hive对数据进行统计分析的这个步骤中就涉及到了Hi

2017-10-26 17:19:28 411

转载 Java CMS GC 361s引发的血案

问题现象当前项目是基于GemFire集群开发，然而我们偶尔会遇到一个节点掉出集群的情况。在分析问题过程中，我们发现在该节点（N1）掉出去之前发生了如下事件。首先，N1最后的log时间在2015/07/23 06:25:35.544，并且直到2015/07/23 06:31:44.624（6分钟以后）在开始出现下一个log，接收到Primary Locator发出的机群中新的节点视图

2017-10-26 17:12:31 961

转载 HBase详细概述

本文首先简单介绍了HBase,然后重点讲述了HBase的高并发和实时处理数据、HBase数据模型、HBase物理存储、HBase系统架构，HBase调优、HBase Shell访问等。不过在此之前，你可以先了解 Hadoop生态系统，若想运行HBase，则需要先搭建好Hadoop集群环境，可以参考此文搭建5个节点的hadoop集群环境（CDH5）。好了，让我们来学习HBase

2017-10-26 17:10:49 803

转载深入HBase架构解析（二）

前言这是《深入HBase架构解析（一）》的续，不多废话，继续。。。。HBase读的实现通过前文的描述，我们知道在HBase写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，它含有Delete标记，而不一定将一个Cell真正删除了，因而这就引起了一个问题，如何实现读的问题？要解决这个问题，我们

2017-10-26 17:10:03 321

转载深入HBase架构解析（一）

前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，因而本文大部分使用了自己的语言，并且加入了其他资源的参考理解以及本人自己读源码时对其的理解，属于半翻译、半原创吧。HBase架构组成HBase采

2017-10-26 16:40:32 289

转载 hive2.1.1 部署安装

安装hive 之前，要保证hadoop安装成功，本教程对应的是hadoop版本为2.6.4,hive 版本为 2.1.1，默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL 作为元数据库一、下载Hive下载地址：https://mirrors.tuna.tsing

2017-10-18 18:29:28 293

转载 ASP.NET、.NET和C#的关系是怎样的？

1、.NET是什么？.Net全称.NET Framework是一个开发和运行环境，该战略是微软的一项全新创意，它将使得“互联网行业进入一个更先进的阶段”，.NET不是一种编程语言. 简单说就是一组类库框架，.NET开发支持C#、VB.NET、J#、Jsript和Managed C++等。C#是.NET Framework框架支持的一种主力开发语言,可用于开发ASP.NET网站,Wind

2017-10-12 19:00:57 2723

原创项目管理的一些笔记

1,运用科学和艺术来计划、组织、实施、领导以及控制项目运转，以实现组织目标；[图片]确定项目、制定计划、执行计划、监控进度、扫清障碍、管理风险以及采取调整措施的整个过程；[图片]调和矛盾需求及权衡项目的预期结果（范围、绩效和质量）和自然约束（时间和成本）的过程；[图片]领导一个之前从未一起工作过的团队，在一定的时间内利用有限的资金，完成一件从来没有人做过的事情。2,项目干系人指积极参与项目或者

2017-09-14 11:15:21 1180

原创流程制度读后感

0,定标准，抓执行，重考核，出结果标准，让管理更简单！1, 没有流程管理和流程控制，企业组织运行主要依靠行政指令协调，企业领导人和高层主管都陷于事务性工作的管理之中2, 权本位意识严重，等级观念盛行，缺少流程管理意识，管理人员习惯于高高在上地发号施令。3, 没有统一而规范的流程标准控制，单位、部门之间不配合、不支持、各行其是，员工的工作方式、工作程序、工作效果与整体流程难以

2017-09-12 15:03:28 3431

转载分析JAVA应用CPU占用过高的问题

使用jstack分析java程序cpu占用率过高的有关问题使用jstack分析java程序cpu占用率过高的问题1，使用jps查找出java进程的pid，如37072，使用top -p 14292 -H观察该进程中所有线程的CPU占用。[[email protected] ~]# top -p 14292 -H

2017-08-01 12:30:55 529

转载 jmap 查看内存使用直方图

jps -- 查看进程号jmap -histo pid 查看堆内存中的对象数目、大小统计直方图，如果带上live则表示先进行一次fullgc 再统计内存使用情况，如下：jmap -histo:live pid | more

2017-08-01 12:28:40 2014

转载 java内存溢出分析工具：jmap使用实战

在一次解决系统tomcat老是内存撑到头，然后崩溃的问题时，使用到了jmap。 1 使用命令在环境是linux+jdk1.5以上，这个工具是自带的，路径在JDK_HOME/bin/下 jmap -histo pid>a.log 2 输出结果摘要 Size Count Class description ----------------------------

2017-08-01 12:12:20 2796

转载 JVM -XX: 参数介绍

功能开关:参数默认值或限制说明参数默认值功能-XX:-AllowUserSignalHandlers限于Linux和Solaris，默认不启用允许为java进程安装信号处理器,信号处理参见类:sun.misc.Signal, sun.misc.SignalHandler-XX:+Di

2017-08-01 10:16:37 717 1

转载 MySQL索引原理及慢查询优化

理解B+树算法和Innodb索引 http://www.ruzuojun.com/topic/420.html MySQL凭借着出色的性能、低廉的成本、丰富的资源，已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色，但所谓“好马配好鞍”，如何能够更好的使用它，已经成为开发工程师的必修课，我们经常会从职位描述上看到诸如“精通MySQL”、“SQL语句优化”、“了解数据库原理”

2017-07-31 17:54:38 394

转载 mysql中or和in的效率问题

在网上一直看到的是or和in的效率没啥区别，一直也感觉是这样，前几天刚好在看《mysql数据库开发的36条军规》的文章，里面提到了or和in的效率问题，文中提到or的效率为O(n)，而in的效率为O(logn), 当n越大的时候效率相差越明显。今天刚好有时间决定对心中的疑惑进行测试，下面是详细的测试过程。第一步，创建测试表，并生成测试数据，测试数据为1000万条记录。数据库版本为5.1.6

2017-07-31 17:53:55 484

转载新整理，MySQL 开发规范

最近在对公司数据库进行分库和重新架构，，现整理一份规范，仅供一起学习。命名规范基本命名原则使用有意义的英文词汇，词汇中间以下划线分隔。（不要用拼音）只能使用英文字母，数字，下划线，并以英文字母开头。库、表、字段全部采用小写，不要使用驼峰式命名。避免用 ORACLE、MySQL 的保留字，如 desc，关键字如 index。命名禁止超过 32 个字符，须见名之意，建议使用

2017-07-31 14:30:56 384

The terms “high cardinality” and “low cardinality” are frequently used when discussing table columns. A high cardinality column means that a column has many unique values. For example, a primary key c

2017-07-31 14:23:28 1322

转载 mysql sql优化

第一阶段：1，一定要正确设计索引2，一定要避免SQL语句全表扫描，所以SQL一定要走索引（如：一切的 > < != 等等之类的写法都会导致全表扫描）3，一定要避免 limit 10000000,20 这样的查询4，一定要避免 LEFT JOIN 之类的查询，不把这样的逻辑处理交给数据库5，每个表索引不要建太多，大数据时会增加数据库的写入压力第二阶段：1，采用分表技术（大表分小表）

2017-07-31 14:22:06 429

转载 Python 高级特性之列表生成式

已经一个列表 [1, 2, 3, 4, 5, 6, 7, 8, 9, 10], 我们想得到 [1 * 1, 2 * 2, 3 * 3, …, 10 * 10], 此时, 借助列表生成式可以很方便的实现:[x * x for x in range(1, 11)]11[x * x for x in range(1, 11)] 就是一个列表生成式, 它的基础语法是: [exp for i

2017-06-15 11:20:02 391

转载 python中staticmethod classmethod及普通函数的区别

staticmethod 基本上和一个全局函数差不多，只不过可以通过类或类的实例对象（python里光说对象总是容易产生混淆，因为什么都是对象，包括类，而实际上类实例对象才是对应静态语言中所谓对象的东西）来调用而已，不会隐式地传入任何参数。这个和静态语言中的静态方法比较像。 classmethod 是和一个class相关的方法，可以通过类或类实例调用，并将该class对象（不是

2017-06-12 18:34:58 546

转载 Linux strace、pstack 命令使用详解

引言有时我们需要对程序进行优化、减少程序响应时间。除了一段段地对代码进行时间复杂度分析，我们还有更便捷的方法吗？若能直接找到影响程序运行时间的函数调用，再有针对地对相关函数进行代码分析和优化，那相比漫无目的地看代码，效率就高多了。将strace和pstack工具结合起来使用，就可以达到以上目的。strace跟踪程序使用的底层系统调用，可输出系统调用被执行的时间点以及各个调用

2017-06-10 14:58:12 9665

转载过IOStat命令监控IO性能

网站的很多性能问题最终都会归结到IO头上，所以说理解iostat命令是非常有必要的。小技巧：你知道iostat是从哪里得到IO相关信息的吗？使用strace命令能跟踪到答案：shell> strace -eopen iostatopen("/proc/diskstats", O_RDONLY)注：Strace教程：5 simple ways to troubles

2017-06-10 11:32:57 742

转载通过Vmstat诊断虚拟内存找出内存IO瓶颈

当你的Windows连续开机一个星期时，你是不是发现机器特别慢，点啥啥不开。但是你去看资源管理器的又发现内存占用也没有到90%，CPU也没跑满。那为什么这个时候会那么卡呢？其中一个原因就是由于长期使用机器且没有关机，导致内存中缓存了大量的数据。由于系统的虚拟内存管理，当内存使用达到一定程度时，系统会将内存中的数据交换到硬盘中，也就是Windos的虚拟内存，在Linux中叫Swap分区。此

2017-06-10 10:49:16 1361

转载 linux系统性能调优第一步——性能分析(vmstat)

——————————————————————————————————————————1.性能分析的目的1）找出系统性能瓶颈（包括硬件瓶颈和软件瓶颈）；2）提供性能优化的方案（升级硬件？改进系统系统结构？）；3）达到合理的硬件和软件配置；4）使系统资源使用达到最大的平衡。（一般情况下系统良好运行的时候恰恰各项资源达到了一个平衡体，任何一项资源的过渡使用都会造成

2017-06-10 10:46:42 633

转载 vmstat详解

vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。一般vmst

2017-06-10 10:41:16 1630

转载 centos7 五大查找常用命令

最近，我在学习Linux，下面是一些笔记。使用电脑的时候，经常需要查找文件。在Linux中，有很多方法可以做到这一点。国外网站LinuxHaxor总结了五条命令，你可以看看自己知道几条。大多数程序员，可能经常使用其中的2到3条，对这5条命令都很熟悉的人应该是不多的。findfind是最常见和最强大的查找命令，你可以用它找到任何你想找的文件。find的使用格式

2017-05-25 20:08:05 8536

转载关于MemStore的刷新方式

MemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制、工作原理、相关配置，对HBase集群管理以及性能调优有非常重要的帮助。HBase Memstore首先通过简单介绍HBase的读写过程来理解一下MemStore到底是什么，在何处发挥作用，如何使用到以及为什么要用MemStore。图一：Memstore Usage in HBase

2017-05-09 21:13:24 2739