分布式应用
文章平均质量分 93
liaomin416100569
这个作者很懒,什么都没留下…
展开
-
IBM websphere通道联通搭建和测试
简介消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信,而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。IBM WebSphere MQ 产品支持应用程序通过不同组件如处理器、子系统、操作系统以及通信协议的网络彼此进行通信。例如,IBM WebSphere原创 2022-06-29 11:20:02 · 1722 阅读 · 0 评论 -
mq系列rabbitmq-03开发基础概念(重试队列,死信队列等)
描述消息队列(MQ)的基本概念,很多时候都要了解清楚,这样在学消息队列中间件就比较能够游刃有余,遇到不清楚的也可以重新翻来看看,加深理解。这里有关于:优先级队列、延迟队列、死信队列、重试队列、消息回溯、消息堆积、消息追踪/消息轨迹、消息过滤、消息审计、消息路由等的介绍。01.优先级队列优先级队列不同于先进先出队列,优先级高的消息具备优先被消费的特权,这样可以为下游提供不同消息级别的保证。不过这个优先级也是需要有一个前提的:如果消费者的消费速度大于生产者的速度,并且消息中间件服务器(一般简单的称之为Br原创 2021-12-23 10:58:15 · 1495 阅读 · 0 评论 -
hadoop记录篇7-hive常用sql统计
一 。参考文档参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL二。 数据库操作》》创建数据库 环境参考 http://blog.csdn.net/liaomin416100569/article/details/78395266 hive命令进入hive客户端hive> create datab...原创 2017-10-31 12:19:54 · 2323 阅读 · 1 评论 -
Trafficserver实现代理和cdn缓存
一。Trafficserver简介 Apache Traffic Server™ 提供高性能可伸缩的使用http/https通信的正向和反向代理解决方案,同时支持多种代理方案同时配置 关于代理中,正向代理,反向代理,透明代理的概念参考(http://blog.csdn.net/liaomin416100569/article/details/77774073)1.简易安装 (使用yum) 安装...原创 2018-02-28 15:07:34 · 6046 阅读 · 1 评论 -
虚拟机搭建LVS-NAT集群
一. 必备知识 局域网基础和计算机网络7层模型 http://blog.csdn.net/liaomin416100569/article/details/72976270 必须掌握NAT 路由器 网关这些概念 tcp协议相关知识 http://blog.csdn.net/liaomin416100569/article/details/73088原创 2017-06-15 19:08:22 · 3201 阅读 · 0 评论 -
mysql中间件-atlas介绍
一 。atlas简介Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条。同时,有超过50家公司在生产环境原创 2018-01-29 15:34:52 · 1927 阅读 · 0 评论 -
企业级搜索solr应用
一 。solr简介 solr是以lucene为内核开发的企业级搜索应用 应用程序可以通过http请求方式来提交索引,查询索引,提供了比lucene更丰富的查询语言,是一个高性能,高可用环境全文搜索引擎二 。solr安装配置 1》下载solr安装包 solr所有版本 (http://archive.apache.org/dist/lucene/solr/) ...原创 2017-08-22 11:55:45 · 1639 阅读 · 0 评论 -
Zookeeper实现master-slave选举
一 场景描述 比如存在一个webservice服务 该服务用于提供 一个获取uuid的服务 这个服务调用的程序不多 但是需要考虑到单点故障 当其中一台挂掉后 另一台机器需要充当master提供服务二 实线流程 图解:1.zookeeper集群 (这里模拟 我只开启了一台主机 58.1)2. web服务器(两台服务器用于 master-salve模式)原创 2017-05-23 11:33:45 · 4915 阅读 · 0 评论 -
zookeeper负载均衡
一 负载均衡原理负载均衡为将应用的并发处理能力分摊到不同的机器中 机器上水平分布着相同功能的应用,实现负载均衡需要考虑到服务器的容灾能力,服务器的动态配置等 实现场景: 假设在服务端存在一个webservice 部署在58.131,58.132上 客户端每次访问压力最小的服务器 从零开发 需要当服务器58.131和58.132启动时 要在zookooper集群中注原创 2017-05-25 19:16:11 · 3431 阅读 · 0 评论 -
zookeeper分布式应用
一 .zookeeper介绍 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服 务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供原创 2017-05-11 16:55:27 · 1349 阅读 · 0 评论 -
springcloud记录篇6-分布式配置中心
一。分布式配置中心简介 Spring Cloud Config为服务端和客户端提供了分布式系统的外部化配置支持。配置服务器为各应用的所有环境提供了一个中心化的外部配置。它实现了对服务端和客户端对Spring Environment和PropertySource抽象的映射,所以它除了适用于Spring构建的应用程序,也可以在任何其他语言运行的应用程序中使用。作为一个应用可以通过部署管道来进行测试原创 2018-01-05 11:12:12 · 830 阅读 · 0 评论 -
springcloud记录篇3-springcloud客户端ribbon和feign
一 。客户端介绍 在springcloud中发布的服务一般为http服务 使用http服务客户端即可调用 最底层的http协议是使用它tcp协议实现 清晰理解http协议请求响应模型可以使用Socket来进行请求 这种方式开发成本太大,java.net包提供了 HttpURLConnection类来处理http协议 该类可以发送get和post请求,但是没有自动重连以及自动解析 以原创 2017-10-06 10:13:54 · 3690 阅读 · 0 评论 -
mq系列kafka01-简介和集群安装
一。kafka简介 Kafka是一个分布式消息系统,由LinkedLn使用Scala编写,用作LinkedLn的活动流和运营数据处理管道的基础,具有高水平扩展和高吞吐量。它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。目前越来越多的开源分布式处理系统如Apache Flume、Apache Storm、Spark、ElasticSearch都支持与Kafka集成。原创 2017-12-15 14:23:09 · 621 阅读 · 0 评论 -
分布式事务模型-TCC
一个TCC事务框架需要解决的当然是分布式事务的管理。关于TCC事务机制的介绍,可以参考TCC事务机制简介。TCC事务模型虽然说起来简单,然而要基于TCC实现一个通用的分布式事务框架,却比它看上去要复杂的多,不只是简单的调用一下Confirm/Cancel业务就可以了的。本文将以Spring容器为例,试图分析一下,实现一个通用的TCC分布式事务框架需要注意的一些问题。一、TCC全局事转载 2017-12-27 08:42:02 · 10141 阅读 · 0 评论 -
tengine安装及配置
一。安装过程1》下载 http://tengine.taobao.org/download.html找到下载包并且下载(Tengine-2.2.0.tar.gz)2》解压 tar zxvf Tengine-2.2.0.tar.gz3》配置检查 进入解压后的目录 ./configure异常1: [ro...原创 2017-06-07 11:07:32 · 31667 阅读 · 1 评论 -
Mysql高可用之PXC
一。PXC简介 Percona XtraDB Cluster简称PXC。是一套开源mysql高可用解决方案(XtraDb是mysql被oracle收购之前 开源一个分支 其他分支还有mariadb),Percona Xtradb Cluster的实现是在原mysql代码上通过Galera包将不同的mysql实例(新名称 Percona Server)连接起来,实现了multi-m原创 2018-02-05 17:35:13 · 2160 阅读 · 1 评论 -
CPU-bound(计算密集型) 和I/O bound(I/O密集型)
I/O密集型 (IO-bound) I/O bound 指的是系统的CPU效能相对硬盘/内存的效能要好很多,此时,系统运作,大部分的状况是 CPU 在等 I/O (硬盘/内存) 的读/写,此时 CPU Loading 不高。CPU bound 指的是系统的 硬盘/内存 效能 相对 CPU 的效能 要好很多,此时,系统运作,大部分的状况是 CPU Loading 100%,CPU 要读/写 I/O ...转载 2018-03-02 11:20:16 · 456 阅读 · 0 评论 -
springfox集成openapi实践
一 。openapi介绍 OpenAPI的前身是swagger规范。Swagger是一套有助于前后端分离,接口管理和测试工具集 SwaggerTM是一个用于描述和文档化RESTful接口的项目。 Swagger规范定义了一系列的文件,用以描述API。这些文件可以被Swagger-UI项目用于展示API,也可以被Swagger-Codegen项目用于生成代码。一些其他的工具也可以利用这些文件,例...原创 2018-03-14 17:01:41 · 1127 阅读 · 0 评论 -
springsecurity05-第三方登录到微信和支付宝
文章目录1。微信和支付宝第三方登录简介1.1微信个人测试号1.2支付宝沙箱1。微信和支付宝第三方登录简介由于微信和支付宝需要申请公司权限,才能完整使用功能,现提供上述两种第三方登录的个人测试过程。1.1微信个人测试号微信仅仅提供测试号而且该测试号是用于公众号测试。如果需要在电脑模拟需要安装微信web开发者工具。微信公众号测试账号申请页面:https://mp.weixin.qq.com/...原创 2019-04-27 10:19:29 · 1655 阅读 · 0 评论 -
Docker服务编排02-Apache Mesos+Marathon+MarathonLB
一。Mesos简介Apache Mesos是一个集群管理器,可跨分布式应用程序或框架提供有效的资源隔离和共享。它位于应用程序层和操作系统之间,可以更加轻松地在大规模集群环境中更有效地部署和管理应用程序。它可以在动态共享节点池上运行许多应用程序Apache Mesos将CPU,内存,存储和其他计算资源从机器(物理或虚拟)中抽象出来,使容错和弹性分布式系统能够轻松构建并有效运行。Mesos架...原创 2019-01-28 13:06:44 · 1031 阅读 · 0 评论 -
Docker服务编排01-Docker-Compose
一。Docker-Compose简介 docker镜像在创建之后,往往需要自己手动pull来获取镜像,然后执行run命令来运行。当服务需要用到多种容器,容器之间又产生了各种依赖和连接的时候,部署一个服务的手动操作是令人感到十分厌烦的。dcoker-compose技术,就是通过一个.yml配置文件,将所有的容器的部署方法、文件映射、容器连接等等一系列的配置写在一个配置文件里,最后...原创 2019-01-24 22:25:05 · 626 阅读 · 0 评论 -
JSON格式WEB令牌JWT(json+web+token)
一。jwt简介 传统web项目认证流程 当用户登录成功后,将用户信息保存在session中,session的唯一标识符jessionid保存在cookie中,当浏览器再次访问时,属于同一域名下,自动传递cookie从而达到有状态性获取服务器的session信息。 多个web平台一套认证机制这就需要跨域的单点登录问题,一般的方案是结合springsession+red...原创 2019-01-23 21:36:12 · 1180 阅读 · 0 评论 -
rpc框架thrift
一。thrift简介 thrift通过一个中间语言IDL(接口定义语言)来定义RPC的数据类型和接口,这些内容写在以.thrift结尾的文件中,然后通过特殊的编译器来生成不同语言的代码,以满足不同需要的开发者,比如java开发者,就可以生成java代码,python开发者可以生成python代码,生成的代码中不但包含目标语言的接口定义,方法,数据类型,还包含有RPC协议层和传输层的实...原创 2019-01-17 14:30:35 · 414 阅读 · 0 评论 -
Anaconda安装教程
一。 Anaconda简介安装Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。 因为包含了大量的科学包,Anaconda 的下载文件比较大(约 531 MB),如果只需要某些包,或者需要节省带宽或存储空间,也可以使用Miniconda这个较小的发行版(仅包含conda和 Python)。Conda是一个开源的包、环境管理器...原创 2018-11-05 12:12:29 · 4903 阅读 · 0 评论 -
springcloud记录篇9-springcloud孵化器项目Spring Cloud Alibaba
一。 Spring Cloud Alibaba介绍spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。依托 Spring Cloud Alibaba,您只需要添加一些注解和少量配置,就可以将 Spring Cloud 应用接入阿...原创 2019-01-11 14:55:55 · 805 阅读 · 0 评论 -
ETL工具-Kettle Spoon教程
一 。Kettle Spoon简介 ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,了解并掌握一种etl工具的使用,必不可少,支持图形化的GUI设计界面,然后可以以工作流的形式流转,在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现,使...原创 2018-09-21 14:56:03 · 77563 阅读 · 6 评论 -
docker纪录篇3-docker构建私有registry
一 。私有registry简介 Docker Hub公共仓库由于在国外,速度相对较慢,同maven仓库,yum仓库一样可以创建一个本地的代理仓库 供局域网使用 一般docker提供了registry的仓库用于搭建 二 。registry配置1》安装registry镜像 docker下载registry镜像[root@localhost shell]# docker p...原创 2018-08-01 18:14:10 · 332 阅读 · 0 评论 -
springcloud记录篇8-sleuth服务链路追踪
一。sleuth简介 微服务架构上通过业务来划分服务的,通过REST调用,对外暴露的一个接口,可能需要很多个服务协同才能完成这个接口功能,如果链路上任何一个服务出现问题或者网络超时,都会形成导致接口调用失败。随着业务的不断扩张,服务之间互相调用会越来越复杂。如何清晰地记录服务的调用链路,方便将来问题的定位,Spring cloud sleuth组件正是为了解决微服务跟踪的组件。 ...原创 2018-07-27 17:11:25 · 594 阅读 · 0 评论 -
springcloud记录篇7-spring cloud stream
一 。 Spring Cloud Stream简介 Spring Cloud Stream 是一个构建消息驱动微服务的框架,应用程序通过 inputs通道 或者 outputs通道 来与 Spring Cloud Stream 中binder(kafka|rabbitmq) 交互,通过我们配置来 binding ,而 Spring Cloud Stream 的 binder 负责与中间件交互...原创 2018-07-25 19:17:48 · 1180 阅读 · 0 评论 -
hadoop记录篇10-数据仓库查询组件impala
一。impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具,Impala没有再使用缓慢的Hive+MapReduce批处理,而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成),可以直接从HDFS或HBase中用...原创 2018-04-25 09:42:13 · 1740 阅读 · 0 评论 -
企业级搜索elasticsearch应用04-集群和常用插件安装
一。配置集群 二。常用插件安装原创 2017-12-11 17:29:11 · 3163 阅读 · 4 评论 -
分布式日志收集套件-ELK
一。 ELK介绍ELK 是elastic公司提供的一套完整的日志收集、展示解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 Kibana。ElasticSearch简称ES,它是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎,使用 Java 语言原创 2017-12-13 15:02:54 · 2031 阅读 · 1 评论 -
drbd安装和数据同步
一。软件安装 1》heartbeat安装 参考http://blog.csdn.net/liaomin416100569/article/details/76087448 2》drbd安装过程: drbd官网 http://www.drbd.org/ drbd下载 https://www.linbit.com/en/drbd-community/drbd原创 2017-08-01 20:01:22 · 2279 阅读 · 1 评论 -
rsync+Inotify进行文件同步
一。简介 rsync用于网络间数据备份 具备高安全性,能实现增量备份,监控的文件必须扫描 文件量大时扫描花费大量时间 所以使用inotify的异步文件系统监控 调用内核监控 检测到文件的修改 同时rsync同步文件 rpmfind.net搜索 rsync 找到官网地址为 http://rsync.samba.org/ 可以下载源码包进行安装二。安装过程 1》模拟环境原创 2017-08-03 21:49:25 · 405 阅读 · 0 评论 -
centos6安装mysql5.5.53
mysql官网下载mysql的red hat linux安装包 下载地址为:http://dev.mysql.com/downloads/mysql/5.5.html#downloads下载后的文件为:MySQL-5.5.53-1.el7.x86_64.rpm-bundle.tar解压 tar 包 :tar -xvf MySQL-5.5.53-1.el7.x86_64.r原创 2016-12-01 11:16:34 · 1785 阅读 · 0 评论 -
虚拟机搭建LVS-DR集群
一. 必备知识 参考搭建 NAT模型 http://blog.csdn.net/liaomin416100569/article/details/73300692二概念解析 lvs官网 http://www.linuxvirtualserver.org/ lvs(linux virtual server)提供了三种集群方式 分别是:The LVS原创 2017-06-19 19:14:04 · 3952 阅读 · 0 评论 -
Nginx+Tomcat+Memcache|Redis集群配置
一 软件安装 1》 安装nginx (参考http://blog.csdn.net/liaomin416100569/article/details/72897641) 2》 安装jdk(参考http://blog.csdn.net/liaomin416100569/article/details/6671692) 3》 安装tomcat 下载tar.gz包解压即可 4》...原创 2017-06-09 10:04:36 · 1493 阅读 · 0 评论 -
应用keepalived主从容灾
一。 简单介绍keepalived keepalived提供基于linux高可用性负载均衡技术,使用虚拟ip的技术 主要用于容灾 基于VRRP协议(虚拟路由冗余协议(Virtual Router Redundancy Protocol,简称VRRP)) 用于主从结构提供服务 主从机器 必须安装keepalived 设置的主机器 会默认给主机设置一个虚拟ip 同时将该虚拟ip和主机器的m原创 2017-06-19 21:20:13 · 1204 阅读 · 0 评论 -
LVS负载均衡中arp_ignore和arp_annonuce举例解释
一。模拟场景 window机器 ip 192.168.88.20 (本机局域网配置) 192.168.58.1(vmware虚拟网卡ip 作为NAT虚拟机网关) linux虚拟机ip 192.168.58.134(NAT模式下生成ip) 192.168.88.21(桥接的局域网ip 具体过程参 考http://blog.csdn.n原创 2017-06-19 09:18:56 · 1912 阅读 · 0 评论 -
计算机网络基础01-IP地址相关知识
一 IP分类原则 1》ip的组建规则 ip地址一般由4个字节的数字组成 通过.分割 格式为:字节1.字节2.字节3.字节4 比如192.168.1.5(二进制表示太过复杂 一般转换为十进制表示) 1字节(8位)的无符号整数 最大为 11111111=2的7次方+2的6次方+....+2的0次方 =255 最小为00000000 所以最大的ip就是 255.255.原创 2017-06-18 13:40:39 · 1135 阅读 · 0 评论