- 博客(43)
- 收藏
- 关注
RSS订阅原创 sqlldr 命令的参数bindsize readsize的作用
2core 4G 虚拟机上测试调整sqlldr 命令的参数bindsize readsize：direct=TRUE,parallel=TRUE,multithreading=TRUE,bindsize=512000,readsize=10240001000万数据（20G的文本文件，每条记录2K）：导数调整sqlldr 命令的参数bindsize readsize：di...
2018-12-22 20:43:08
4680
原创 安装VMware® Workstation 14 Pro + centos7 + oracle12.2.0.1.0 + window7 64 + oracle 12c 64位客户端
一、操作系统安装(centos7)1.vmware虚拟机使用Workstation 14 Pro2.使用镜像文件CentOS-7-x86_64-DVD-1804.iso3.主要设置下磁盘大小，其他的都是默认。4.进入安装界面5.选择英文，后续方便。6.设置DATE7.安装软件8.安装硬盘选择9.安装网络10.启动安装11.设置用户和密码等待...
2018-12-22 20:33:05
2594
转载 负载均衡在分布式架构中的应用
什么是负载均衡（Load balancing） 在网站创立初期，我们一般都使用单台机器对台提供集中式服务，但随着业务量越来越大，无论性能还是稳定性上都有了更大的挑战。这时候我们就会想到通过扩容的方式来提供更好的服务。我们一般会把多台机器组成一个集群对外提供服务。然而，我们的网站对外提供的访问入口都是一个的，比如www.taobao.com。那么当用户在浏览器输入www.taobao.com...
2018-07-25 16:38:41
480
转载 高并发解决方案--负载均衡
1,什么是负载均衡？当一台服务器的性能达到极限时，我们可以使用服务器集群来提高网站的整体性能。那么，在服务器集群中，需要有一台服务器充当调度者的角色，用户的所有请求都会首先由它接收，调度者再根据每台服务器的负载情况将请求分配给某一台后端服务器去处理。那么在这个过程中，调度者如何合理分配任务，保证所有后端服务器都将性能充分发挥，从而保持服务器集群的整体性能最优，这就是负载均衡问题。下面详...
2018-07-25 11:18:32
261
转载 银行核心系统如何应用分布式架构
相对于主机集中式架构，以X86 和云计算为基础、以数据切分为特征的现代分布式架构在扩展性、低成本、降低运行风险等方面的优势明显，已经成为主流的联机交易系统架构方案。3401相对于主机集中式架构，以X86 和云计算为基础、以数据切分为特征的现代分布式架构在扩展性、低成本、降低运行风险等方面的优势明显，已经成为主流的联机交易系统架构方案。本文针对分布式架构在银行核心业务系统中的应用，分享了分库...
2018-07-25 11:16:14
17135
1
转载 软件各种架构图收集
该技术架构图是本人根据多年企业技术架构经验而制定，是企业技术的总架构图，希望对CTO们有所借鉴。 简单说明：1.中间件基础运行环境是经过统一规划的以WebLogic、JBOSS为主的集群环境 2.企业集成平台是以基础业务应用为基础服务于上层平台和基础业务应用的高度集成平台 3.数据中心是企业公共数...
2018-07-25 11:14:10
15241
转载 分布式数据中间件TDDL、Amoeba、Cobar、MyCAT架构比较
框架比较TDDLAmoebaCobarMyCat点评 TDDL不同于其它几款产品，并非独立的中间件，只能算作中间层，是以Jar包方式提供给应用调用。属于JDBC Shard的思想，网上也有很多其它类似产品。 另外，网上有关于TDDL的图，如http://www.tuicool.com/articles/nmeuu2 中的图 1-2 TDDL 所处...
2018-07-25 10:49:13
202
转载 负载均衡器技术Nginx和F5
nginx（一） nginx详解 nginx是一个被广泛使用的集群架构组件，我们有必要对它有足够的了解。下面将先认识nginx：包括应用场景、nginx基本架构、功能特性、并发模型以及配置说明，最后我们再总结下，为什么选择nginx的原因。1、nginx应用 nginx （engine x）是一个可以作为HTTP WEB服务器、反向代理服务器、邮件代理...
2018-07-25 10:46:30
1111
转载 数据库分离原理解析——分库，分表，主从，集群，负载均衡器
第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库：可以降低单台机器的负载，同时最大限度的降低了宕机造成的损失； 负载均衡策略：可以降低单台机器的访问负...
2018-07-25 10:44:39
296
转载 分布式事务
分布式事务场景如何设计系统架构及解决数据一致性问题，个人理解最终方案把握以下原则就可以了，那就是：大事务=小事务（原子事务）+异步（消息通知），解决分布式事务的最好办法其实就是不考虑分布式事务，将一个大的业务进行拆分，整个大的业务流程，转化成若干个小的业务流程，然后通过设计补偿流程从而考虑最终一致性。什么是事务事务（Transaction）及其ACID属性事务是由一组SQL语句组成的逻辑处理单元，...
2018-06-28 17:54:56
1262
转载 什么是分布式系统中的幂等性
最近很多人都在谈论幂等性，好吧，这回我也来聊聊这个话题，光看着俩字，一开始的确有点一头雾水，语文不好嘛，词太专业嘛，对吧 现如今我们的系统大多拆分为分布式SOA，或者微服务，一套系统中包含了多个子系统服务，而一个子系统服务往往会去调用另一个服务，而服务调用服务无非就是使用RPC通信或者restful，既然是通信，那么就有可能再服务器处理完毕后返回结果的时候挂掉，这个时候用户端发现很久没有反应，那么...
2018-06-28 15:26:17
1097
转载 常用的分布式事务解决方案
关于分布式事务，工程领域主要讨论的是强一致性和最终一致性的解决方案。典型方案包括：两阶段提交（2PC, Two-phase Commit）方案eBay 事件队列方案TCC 补偿模式缓存数据最终一致性一、一致性理论分布式事务的目的是保障分库数据一致性，而跨库事务会遇到各种不可控制的问题，如个别节点永久性宕机，像单机事务一样的ACID是无法奢望的。另外，业界著名的CAP理论也告诉我们，对分布式系统，需...
2018-06-26 11:35:22
1552
转载 Quorum机制与NRW算法
1.Quorum机制 Quorum，原指为了处理事务、拥有做出决定的权力而必须出席的众议员或参议员的数量（一般指半数以上）。2.NRW算法 NRW算法是基于Quorum机制的是一种CP(Consistency&Partion tolerance)算法。用于在数据一致性和可靠性之间达到一种平衡。为了保证系统的正常运行，能够提供可靠的服务，分布式系统中对于数据的存储采用多份数据...
2018-06-26 11:33:41
696
1
转载 分布式开放消息系统(RocketMQ)的原理与实践
分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消息系统的设计，就回避不了两个问题：消息的顺序问题消息的重复问题RocketMQ作为阿里开源的一款高性能、高吞吐量的消息中间件，它是怎样来解决这两个问题的？RocketMQ 有哪些关键特性？其实现原理是怎样的？关键特性以及其实现原理一、顺序消息消息有序指的是可以按照消息的发送顺序来消费。例如：一笔订单...
2018-06-26 11:12:34
147
转载 深入理解分布式事务,高并发下分布式事务的解决方案
1、什么是分布式事务分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。以上是百度百科的解释，简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。本质上来说，分布式事务就是为了保证不同数据库的数据一致性。2、分布式事务的产生的原因2.1、...
2018-06-26 11:04:12
210
转载 CAP原则(CAP定理)、BASE理论
CAP原则又称CAP定理，指的是在一个分布式系统中， Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可得兼。 CAP原则是NOSQL数据库的基石。Consistency（一致性）。 Availability（可用性）。Partition tolerance（分区容错性）。分布式系统的CAP理论：理论首先把分...
2018-06-25 16:58:44
200
转载 分布式事务模型DTP
一。 DTP简介 X/Open DTP(X/Open Distributed Transaction Processing Reference Model) 是X/Open 这个组织定义的一套分布式事务的标准，也就是了定义了规范和API接口，由厂商进行具体的实现 X/Open DTP 定义了三个组件： AP，TM，RMAP(Application Program)：也就是应用程序，可以理...
2018-06-24 15:21:50
441
转载 分布式缓存Memcached
Memcached是什么?Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。Memcached有...
2018-06-23 09:55:02
180
转载 分布式系统理论基础 - CAP
CAP是分布式系统、特别是分布式存储领域中被讨论最多的理论，“什么是CAP定理？”在Quora 分布式系统分类下排名 FAQ 的 No.1。CAP在程序员中也有较广的普及，它不仅仅是“C、A、P不能同时满足，最多只能3选2”，以下尝试综合各方观点，从发展历史、工程实践等角度讲述CAP理论。希望大家透过本文对CAP理论有更多地了解和认识。 CAP定理CAP由Eric Brewer在2000年PODC...
2018-06-22 21:42:18
158
转载 分布式会话跟踪系统架构设计与实践
本文整理自美团点评技术沙龙第08期：大规模集群的服务治理设计与实践。美团点评技术沙龙由美团点评技术团队主办，每月一期。每期沙龙邀请美团点评及其它互联网公司的技术专家分享来自一线的实践经验，覆盖各主要技术领域。目前沙龙会分别在北京、上海和厦门等地举行，要参加下一次最新沙龙活动？赶快关注微信公众号“美团点评技术团队”。这期沙龙主要内容有：分布式服务通信框架及服务治理系统、分布式监控系统实践、分布式会话...
2018-06-22 21:02:40
177
转载 Protobuf 和 Thrift 简介
google protobuf Protocol buffers are Google’s language-neutral, platform-neutral, extensible mechanism for serializing structured data – think XML, but smaller, faster, and simpler. You define how you...
2018-06-22 20:54:57
1609
1
转载 你应该知道的RPC原理
在学校期间大家都写过不少程序，比如写个hello world服务类，然后本地调用下，如下所示。这些程序的特点是服务消费方和服务提供方是本地调用关系。 而一旦踏入公司尤其是大型互联网公司就会发现，公司的系统都由成千上万大大小小的服务组成，各服务部署在不同的机器上，由不同的团队负责。这时就会遇到两个问题：1）要搭建一个新服务，免不了需要依赖他人的服务，而现在他人的服务都在远端，怎么调用？2）其它团...
2018-06-22 20:52:14
130
转载 Linux环境下Python的安装过程
前言一般情况下，Linux都会预装 Python了，但是这个预装的Python版本一般都非常低，很多 Python的新特性都没有，必须重新安装新一点的版本，从下边的截图，可以看到我的 linux下，预装Python 的版本非常低，古老的 2.4.3版本。这里我准备安装现阶段稍微主流点的版本 2.7.3。下载官网下载地址：http://www.python.org
2018-04-12 11:25:14
112
转载 分布式系统--事务一致性解决方案
在OLTP系统领域，我们在很多业务场景下都会面临事务一致性方面的需求，例如最经典的Bob给Smith转账的案例。传统的企业开发，系统往往是以单体应用形式存在的，也没有横跨多个数据库。我们通常只需借助开发平台中特有数据访问技术和框架（例如Spring、JDBC、ADO.NET），结合关系型数据库自带的事务管理机制来实现事务性的需求。关系型数据库通常具有ACID特性：原子性（Atomicity）、一致
2017-12-11 14:50:04
278
转载 分布式系统基本原理及高可用策略
【分布式系统中的概念】 三元组 其实，分布式系统说白了，就是很多机器组成的集群，靠彼此之间的网络通信，担当的角色可能不同，共同完成同一个事情的系统。如果按”实体“来划分的话，就是如下这几种： 1、节点 -- 系统中按照协议完成计算工作的一个逻辑实体，可能是执行某些工作的进程或机器
2017-12-11 14:48:08
532
转载 Oracle 优化统计数据之直方图
直方图是一种按数据出现的频率来进行分类存储的方法.在Oracle中直方图是用来描述表中列数据的分布情况.每一个sql在被执行前都要经过优化这一步骤那么在优化器给出一个最优执行计划之优化器应该要知道sql语句中所引用的底层对象的详细信息. 直方图描述的对象包括列中不同值的数量和它们出现的频率.现在存储每一个不同值和它出现的频率是不可行的,特别是对于大表来说列中有上万个不同值,oracle使用
2017-09-12 11:39:39
1477
转载 malloc和free函数详解
本文介绍malloc和free函数的内容。 在C中，对内存的管理是相当重要。下面开始介绍这两个函数： 一、malloc()和free()的基本概念以及基本用法：1、函数原型及说明：void *malloc(long NumBytes)：该函数分配了NumBytes个字节，并返回了指向这块内存的指针。如果分配失败，则返回一个空指针（NULL）。
2017-09-11 15:53:21
177
转载 C/C++堆、栈及静态数据区详解
五大内存分区 在C++中，内存分成5个区，他们分别是堆、栈、自由存储区、全局/静态存储区和常量存储区。下面分别来介绍： 栈，就是那些由编译器在需要的时候分配，在不需要的时候自动清除的变量的存储区。里面的变量通常是局部变量、函数参数等。 堆，就是那些由new分配的内存块，他们的释放编译器不去管，由我们的应用程序去控制，一般一个new就要对应一个delete。如
2017-09-11 15:50:27
201
转载 进程间通信共享内存
要使用共享内存，应该有如下步骤：1.开辟一块共享内存 shmget()2.允许本进程使用共某块共享内存 shmat()3.写入/读出4.禁止本进程使用这块共享内存 shmdt()5.删除这块共享内存 shmctl()或者命令行下ipcrm共享内存可以说是最有用的进程间通信方式，也是最快的IPC形式。两个不同进程A、B共享内存的意思是，同一块物理内存被映射到进程A、B
2017-09-11 15:42:07
221
转载 簇索引与非簇索引在查询中的应用与分析
一、深入浅出理解索引结构实际上，您可以把索引理解为一种特殊的目录。微软的SQL SERVER提供了两种索引：聚集索引（clustered index，也称聚类索引、簇集索引）和非聚集索引（nonclustered index，也称非聚类索引、非簇集索引）。下面，我们举例来说明一下聚集索引和非聚集索引的区别：其实，我们的汉语字典的正文本身就是一个聚集索引。比如，我们要
2017-09-11 10:35:55
327
转载 Oracle 11G RAC数据库基本测试和使用
检查RAC状态主节点测试各个节点rac运行是否正常。显示rac节点详细信息$ srvctl config database -d racDatabase unique name: racDatabase name: racOracle home: /u01/app/oracle/product/11.2.0/db_1Oracle user: oracleSpf
2017-09-05 09:39:57
968
转载 Oracle 11G RAC数据库安装
数据库安装继oracle集群安装之后，接下来也是最重要的数据库安装，整个数据库安装难度不大，用户以oracle用户身份登录RAC1主节点，对解压后的文件安装。主节点下安装后，其他所有结点自动安装，采用的原理机制就是ssh通信机制，所以前期ssh配置，各节点自动通信很重要。好在11G之后可以自动完成ssh配置，不用纯脚本，只需要按照步骤配置即可。接下来看下整体数据库群架构图。针对linux环境下
2017-09-05 09:38:51
853
转载 Oracle 11G RAC集群安装
集群安装在进行oracle集群安装之前，首先看下整体集群架构图。另：oracle RAC集群整体配置基于三个步骤（前期配置，集群安装，数据库安装） Oracle登入rac1进行上传，解压安装p13390677_112040_Linux-x86-64_1of7.zip、p13390677_112040_Linux-x86-64_
2017-09-05 09:37:47
706
转载 RAC在LINUX上使用NFS安装前准备
介绍 下载软件l Oracle Enterprise Linux 5.7l Oracle 11 g版本2(11.2)和修改和数据库软件操作系统安装本文使用Oracle Enterprise Linux 5.7。 一般
2017-09-05 09:36:49
241
转载 RAC 特殊问题和实战经验
共享存储在需要将一个 LUN （逻辑单元号）映射给多个节点、为集群提供一个共享的存储卷时，同一个存储 LUN 在各个主机端的 LUNID 必须是相同的。比如： (一) 在为多个 ESX 节点创建一个 VMFS 卷的时候(二) 在双机 HA 集群创建共享存储的时候时间一致性集群模式下，各个节点要协同工作，因此，各主机的时间必须一致。因此，各主机
2017-09-05 09:35:39
532
转载 缓存融合技术和主要后台进程
Cache Fusion 原理 前面已经介绍了 RAC 的后台进程，为了更深入的了解这些后台进程的工作原理，先了解一下 RAC 中多节点对共享数据文件访问的管理是如何进行的。要了解 RAC 工作原理的中心，需要知道 Cache Fusion 这个重要的概念，要发挥 Cache Fusion 的作用，要有一个前提条件，那就是互联网络的速度要比访问磁盘的速度要快。否则，没有引入
2017-09-05 09:34:26
690
转载 RAC 工作原理和相关组件
OracleRAC 是多个单实例在配置意义上的扩展，实现由两个或者多个节点（实例）使用一个共同的共享数据库（例如，一个数据库同时安装多个实例并打开）。在这种情况下，每一个单独的实例有它自己的 cpu 和物理内存，也有自己的 SGA 和后台进程。和传统的 oracle 实例相比，在系统全局区（SYSTEM CLOBAL AREA,SGA）与后台进程有着显著的不同。最大的不同之处在于多了一个GRD,G
2017-09-05 09:33:22
914
转载 ORACLE集群概念和原理
Oracle集群概念和原理Oracle的三种高可用集群方案1 RAC（Real Application Clusters） 多个Oracle服务器组成一个共享的Cache，而这些Oracle服务器共享一个基于网络的存储。这个系统可以容忍单机/或是多机失败。不过系统内部的多个节点需要高速网络互连，基本上也就是要全部东西放
2017-09-05 09:31:06
5282
转载 集群概念介绍
集群概念介绍集群术语须知服务硬件：指提供计算服务的硬件，比如 PC 机、PC 服务器。服务实体：服务实体通常指服务软体和服务硬体。节点（node）：运行 Heartbeat 进程的一个独立主机称为节点，节点是 HA 的核心组成部分，每个节点上运行着操作系统和Heartbeat 软件服务。资源（resource）：资源是一个节点可以控制的实体，当节点发
2017-09-05 09:29:26
6309
转载 CentOS下安装VMware tool详解
一、首先，在VM10中选择安装这样会在centos中安装一个cdrom,具体的路径为:/media/root/VMware Tools,上面有个VMwareTools-9.6.2-1688356.tar.gz的文件包。二、解压缩VMware Tools。[root@Shaoxing ~]# cd /media/VMware\ Tools/ 进入光驱
2017-08-27 17:48:23
5516
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人