IT欢乐颂——编程总结、挖掘资源、分享投资、区块链、炒房。用数据讲IT圈的欢乐颂

原创 python opencv minAreaRect 生成最小外接矩

使用python opencv返回点集cnt的最小外接矩形，所用函数为 cv2.minAreaRect(cnt) ，cnt是点集数组或向量（里面存放的是点的坐标），并且这个点集中的元素不定个数。画一个任意四边形（任意多边形都可以）的最小外接矩形，那么点集 cnt 存放的就是该四边形的4个顶点坐标（点集里面有4个点)

原创 Spring Boot运行流程分析

Spring Boot运行流程分析       spring boot的启动实例化SpringApplication,然后调用runSpringApplication app = new SpringApplication(App.class);ConfigurableApplicationContext context = app.run(args);直接调用静态的run方法(内部转换成第一种...

原创 深入分析hystrix执行时的8大流程步骤以及内部原理

我们要去讲解一下，你开始执行这个command，调用了这个command的execute()方法以后，hystrix内部的底层的执行流程和步骤以及原理是什么呢？在讲解这个流程的过程中，我们会带出来hystrix其他的一些核心以及重要的功能画图分析整个8大步骤的流程，然后再对每个步骤进行细致的讲解1、构建一个HystrixCommand或者HystrixObservableCommand一个Hyst...

原创 Hystrix介绍

1、Hystrix是什么？ 在分布式系统中，每个服务都可能会调用很多其他服务，被调用的那些服务就是依赖服务，有的时候某些依赖服务出现故障也是很正常的。 Hystrix可以让我们在分布式系统中对服务间的调用进行控制，加入一些调用延迟或者依赖故障的容错机制。 Hystrix通过将依赖服务进行资源隔离，进而组织某个依赖服务出现故障的时候，这种故障在整个系统所有的依赖服务调用中进行蔓延，同时Hystrix...

原创 Java工程师-史上最通俗易懂Storm教程：大白话介绍

一、Storm到底是什么？1、mysql，hadoop与stormmysql：事务性系统，面临海量数据的尴尬hadoop：离线批处理storm：实时计算2、我们能不能自己搞一套storm？来一条数据，我理解就算一条，来一条，算一条坑，海量高并发大数据，高并发的请求数据，分布式的系统，流式处理的分布式系统如果自己搞一套实时流系统出来，也是可以的，但是。。。。（1）花费大量的时间在底层技术细节上：如何...

原创 zk分布式锁的代码封装

zk分布式锁的代码封装zookeeper java client api去封装连接zk，以及获取分布式锁，还有释放分布式锁的代码先简单介绍一下zk分布式锁的原理我们通过去创建zk的一个临时node，来模拟给摸一个商品id加锁zk会给你保证说，只会创建一个临时node，其他请求过来如果再要创建临时node，就会报错，NodeExistsException那么所以说，我们的所谓上锁，其实就是去创建某个...

原创 基于OpenResty部署应用层nginx

我们这里玩儿nginx，全都会在nginx里去写lua脚本，因为我们需要自定义一些特殊的业务逻辑比如说，流量分发，自己用lua去写分发的逻辑，在分发层nginx里去写的再比如说，要用lua去写多级缓存架构存取的控制逻辑，在应用层nginx里去写的后面还要做热点数据的自动降级机制，也是用lua脚本去写降级机制的，在分发层nginx里去写的因为我们要用nginx+lua去开发，所以会选择用最流行的开源...

原创 spring boot整合ehcache

spring boot整合ehcache（1）依赖<dependency>  <groupId>org.springframework.boot</groupId>  <artifactId>spring-boot-starter-data-jpa</artifactId></dependency><dependency...

原创 2.图解分析Redis的RDB和AOF两种持久化机制的原理

1、RDB和AOF两种持久化机制的介绍2、RDB持久化机制的优点3、RDB持久化机制的缺点4、AOF持久化机制的优点5、AOF持久化机制的缺点6、RDB和AOF到底该如何选择我们已经知道对于一个企业级的redis架构来说，持久化是不可减少的企业级redis集群架构：海量数据、高并发、高可用持久化主要是做灾难恢复，数据恢复，也可以归类到高可用的一个环节里面去比如你redis整个挂了，然后redis就...

原创 01.单机版redis的安装以及redis生产环境启动方案

课程大纲1、安装单机版redis2、redis的生产环境启动方案3、redis cli的使用------------------------------------------------------------------------1、安装单机版redis大家可以自己去官网下载，当然也可以用课程提供的压缩包wget http://downloads.sourceforge.net/tcl/tc...

转载 Dubbo高级篇_10_Dubbo线程模型

线程模型http://dubbo.io/User+Guide-zh.htm 用户指南>>线程模型类似于数据库的连接池(+) (#)事件处理线程说明如果事件处理的逻辑能迅速完成，并且不会发起新的IO请求，比如只是在内存中记个标识，则直接在IO线程上处理更快，因为减少了线程池调度。但如果事件处理逻辑较慢，或者需要发起新的IO请求，比如需要查询数据库，则必须派发到线程池，否则IO线程阻塞，将...

转载 Dubbo高级篇_09_Dubbo负载均衡策略

负载均衡(+) (#)在集群负载均衡时，Dubbo提供了多种均衡策略，缺省为random随机调用。可以自行扩展负载均衡策略，参见：负载均衡扩展Random LoadBalance随机，按权重设置随机概率。在一个截面上碰撞的概率高，但调用量越大分布越均匀，而且按概率使用权重后也比较均匀，有利于动态调整提供者权重。权重加倍RoundRobin LoadBalance轮循，按公约后的权重设置轮循比率。存...

转载 Dubbo高级篇_07_Dubbo服务接口的设计原则

1 、设计方式action->facade->biz->dao好的Dubbo服务接口设计，并非只是纯粹的接口服务化2.接口类型简单的数据查询接口:action.facade、dao(例根据Id查询记录)带业务逻辑的数据查询接口:action、facade、biz、dao(复杂的查询，带业务逻辑)简单的数据写入接口：action、facade、dao(简单数据插入)带业务逻辑的数据...

转载 Dubbo高级篇_05_Dubbo服务集群

集群的目的：实现高可用，容错功能，集群的服务器不要放在一台物理机，要分散节点，才能实现高可用，高容错性能，一台提供者挂了，还有其他提供者，保证系统正常、稳定运行。一、环境准备edu-provider-01(192.168.1.121)edu-provider-02(192.168.1.122)Connecting to 192.168.1.121:22...Connection establish...

转载 Dubbo高级篇_03_简易版支付系统部署（单节点）

一、前期准备1、MySQL数据库的安装：MySQL-5.6.22，自行安装2、Dubbo视频教程--基础篇--第03节--ZooKeeper注册中心安装3、Dubbo视频教程--基础篇--第06节--Dubbo管理控制台的安装4、Dubbo视频教程--基础篇--第10节--Dubbo监控中心的介绍与简易监控中心的安装5、持续集成管理平台（SVN、Nexus、Maven、Hudson）的安装：Dub...

转载 Dubbo高级篇_02_activemq的安装与使用

1.activemq上传、解压安装解压安装2.移动activemq到指定目录 3.配置activemq端口ActiveMQ 需要用到两个端口 一个是消息通讯的端口（默认为 61616） 一个是管理控制台端口（默认为 8161）可在conf/jetty.xml 中修改，如下指定jetty端口指定通讯端口4.在防火墙中打开相应端口5.启动activemq在浏览器打开访问以admin/admin登录登录...

转载 Dubbo高级篇_01_消息中间件在分布式架构的作用和介绍

消息中间件的定义Message-oriented middleware (MOM) is software infrastructure focused on sending and receiving messages between distributed systems.消息中间件是在分布式系统中完成消息的发送和接收的基础软件。消息中间件的作用消息中间件可利用高效可靠的消息传递机制进行平台无...

转载 Dubbo基础篇_10_Dubbo监控中心的介绍与简易监控中心的安装

一、监控中心的作用监控中心负责统计各服务调用次数，调用时间等，统计先在内存汇总后，每分钟一次发送到监控中心服务器，并以报表展示,为服务的运维采集数据。二、监控中心是可选的1.监控中心可以不安装2.Monitor挂掉不会影响到Consumer和Provier之间的调用，只是丢失部分采样数据三、监控中心可以自定义扩展开发1.个性化运维监控的需求a.服务的健康状况b.服务的压力和性能状况c.告警通知以便...

转载 Dubbo基础篇_09_构建Dubbo服务消费者Web应用的war包并在Tomcat中部署

IP: 192.168.1.131部署容器：apache-tomcat-7.0.57端口：8080应用：edu-web-boss.war一、安装jdk,tomcat参照本博Dubbo基础篇_01_CentOS安装jdk,Tomact环境http://blog.csdn.net/hardworking0323/article/details/50963000二、上传war包并解压Connecting...

转载 Dubbo基础篇_08_在Linux操作系统上手工部署Dubbo服务

部署到edu-provider-01(192.168.1.121)一、环境变量配置Connecting to 192.168.1.121:22...Connection established.To escape to local shell, press 'Ctrl+Alt+]'.Last login: Fri Mar 25 13:36:38 2016 from 192.168.1.5[root...

转载 Dubbo基础篇_07_使用Maven构建Dubbo服务可执行jar包

服务器:192.168.1.121(edu-provider-01)一、Dubbo服务的运行方式：1、使用Servlet容器运行（Tomcat、Jetty等）----不可取 缺点：增加复杂性（端口、管理）tomcat/jetty等占用端口,dubbo服务也需要端口浪费资源（内存）:单独启动tomcat,jetty占用内存大2、自建Main方法类来运行（Spring容器） ----不建议（本地调试可...

转载 Dubbo基础篇_06_安装 Dubbo 管理控制台

Dubbo管控台可以对注册到 zookeeper 注册中心的服务或服务消费者进行管理，但管控台是否正常对Dubbo服务没有影响，管控台也不需要高可用，因此可以单节点部署。IP: 192.168.1.100部署容器：apache-tomcat-7.0.57 端口：80801、下载最新版的Tomcat7: $wget http://mirrors.hust.edu.cn/apache/tomcat/t...

原创 Dubbo基础篇_03_安装 Dubbo 注册中心(Zookeeper-3.4.6)--单节点

1、建议使用dubbo-2.3.3以上版本的使用zookeeper注册中心客户端2、Zookeeper是Apache Hadoop的子项目，强度相对较好，建议生产环境使用该注册中心。3、Dubbo未对Zookeeper服务器端做任何侵入修改，只需安装原生的Zookeeper服务器即可，所有注册中心逻辑适配都在调用Zookeeper客户端时完成。 Dubbo建议使用Zookeeper作为服务的注册中...

转载 Keepalived配置邮件

一、mail部署说明 　　操作系统：Linux（CentOS6.5）　　本例采用的是LAMP+Postfix+Dovcot+PostfixAdmin+Roundcubemail搭建的邮件服务器。阅读本例请先参考：【Mail】邮件的基础知识和原理。      LAMP一种软件环境，Postfix：一种邮件传输代理软件，通常用来发送邮件；Dovcot：邮件检索代理软件，通常用来接收邮件；Postfix...

原创 基于keepalived搭建MySQL的高可用集群

MySQL的高可用方案一般有如下几种：keepalived+双主，MHA，MMM，Heartbeat+DRBD，PXC，Galera Cluster比较常用的是keepalived+双主，MHA和PXC。对于小公司，一般推荐使用keepalived+双主，简单。下面来部署一下 配置环境：角色                                    主机IP              ...

原创 MySql负载均衡集群-haprox介绍及安装

一、haproxy下载 去官网：http://www.haproxy.org/下载 或者在选择好版本后，使用wget下载，比如这里使用的是1.7.5wget http://www.haproxy.org/download/1.7/src/haproxy-1.7.5.tar.gz二、安装haproxy 查看内核版本uname -r根据内核版本选择编译参数： 关于编译参数更详细的参见：https://...

原创 MySql负载均衡集群-LVS、Ngnix、HAProxy比较

LVS：1、抗负载能力强。抗负载能力强、性能高，能达到F5硬件的60%；对内存和cpu资源消耗比较低2、工作在网络4层，通过vrrp协议转发（仅作分发之用），具体的流量由linux内核处理，因此没有流量的产生。2、稳定性、可靠性好，自身有完美的热备方案；（如：LVS+Keepalived）3、应用范围比较广，可以对所有应用做负载均衡；4、不支持正则处理，不能做动静分离。5、支持负载均衡算法：rr（...

原创 Mysql主主复制

mysql的主主复制就是两台mysql节点互为主从。搭建起来mysql主从，再来搭建主主复制就非常简单了。 在原来主从的基础上做如下操作：1.开启原从节点的binlog日志2.原从节点创建读取副本的用户3.在原主节点中让master指向从节点 4.在原主节点执行 start slave 命令以上步骤即可完成主主节点的配置下面有一个问题需要解决，就是自增主键的问题，按照上面的做法，如果向两个节点中插...

原创 java操作主从的2种方式

1. 背景我们一般应用对数据库而言都是“读多写少”，也就说对数据库读取数据的压力比较大，有一个思路就是说采用数据库集群的方案，其中一个是主库，负责写入数据，我们称之为：写库；其它都是从库，负责读取数据，我们称之为：读库；那么，对我们的要求是：1、 读库和写库的数据一致；2、 写数据必须写到写库；3、 读数据必须到读库；2. 方案解决读写分离的方案有两种：应用层解决和中间件解决。2.1. 应用层解决...

原创 MySQL主从复制

mysql的主从复制实现的原理就是binlog日志，那么我们主节点负责数据库写操作，而从节点负责读操作，这样在从节点上不需要使用事务，能够大大提高数据库的性能。那么这个时候面临的问题就是从节点如何来同步主节点数据的问题，就用到了我们之前说过的binlog日志。从节点通过binlog日志来与主节点进行数据同步。三台节点，一个master，两个slave，规划如下master192.168.153.2...

原创 binlog详解、binlog恢复数据

MySQLMySQL MySQL binlogbinlogbinlog binlogbinlog详解mysql5.7默认是不开启binlog日志的，具体的开启方式在开启的笔记中查看。binlog开启成功之后，binlog文件的位置可以在my.inf配置文件中查看。也可以在mysql的命令行中查看。命令行查看代码如下show variables like '%log_bin%';我们也可以看一下当前...

原创 纵观大型网站架构发展，总结持久化部分需要应对的问题

纵观大型网站架构发展，总结持久化部分需要应对的问题系统的性能瓶颈数据安全性性能与成本1、主要解决针对大型网站架构中持久化部分中，大量数据存储以及高并发访问所带来是数据读写问题。分布式是将一个业务拆分为多个子业务，部署在不同的服务器上。集群是同一个业务，部署在多个服务器上。...

原创 『搭建中小型互联网公司后台服务架构』四、后台服务nosql数据库mongodb：高可用讲解以及安装

一、架构介绍mongodb有几种部署方式，这里采用的是副本集架构（Replica Set）。为了防止单点故障就需要引副本（Replication），当发生硬件故障或者其它原因造成的宕机时，可以使用副本进行恢复，最好能够自动的故障转移（failover）。有时引入副本是为了读写分离，将读的请求分流到副本上，减轻主（Primary）的读压力。而Mongodb的Replica Set都能满足这些要求。R...

原创 『搭建中小型互联网公司后台服务架构』三、后台服务数据库工具mysql安装

Mysql安装1、  yum安装mysql   yum -y install mysql-server2、  启动mysql服务启动mysql：service mysqld start查看mysql的状态：service mysqld status3、  设置mysql的root用户，设置密码mysql –u root查看mysql用户和密码select user,host,passwordfro...

原创 『搭建中小型互联网公司后台服务架构』二、后台服务工具maven安装配置

后台服务工具maven：maven安装配置1、  maven下载下载地址：https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz2、  解压配置全局变量用工具进行解压。全局变量：/etc/profile用户变量：~/.bash_profile   export M3=/Us...

原创 『搭建中小型互联网公司后台服务架构』一、简介

本系列文章主要是针对如何从无到有搭建中小型互联网公司后台服务架构和运维架构的课程，系列文章所涉及的内容均是当前应用最广泛的技术和工具。本系列文章的技术及工具如下：后台服务架构：dubbo、spring-boot、spring mvc、spring-security-oauth2、spring-ldap、spring-data-jpa等项目管理工具：maven、nexus版本管理工具：gitlab、...

转载 给你一份架构部操作手册，你会用么？

本人曾经负责某互联网电商公司架构部，离职交接时写过一篇交接文档，叫做“架构部操作手册”，如今时过境迁，里面很多信息已不再敏感，脱敏处理后分享，大家可以从中看到架构部的具体工作情况。PS：每个公司的部门分工、流程、机制由其文化、历史、人员背景等决定，无一定之规，仅供参考。架构部操作手册目录一、部门简介.1

原创 我的微信公众号

原创 android 定时启动\取消

Intent intent = new Intent("cn.pocketdigi.update.alarm"); intent.setClass(this, AlarmReceiver.class); PendingIntent pi=PendingIntent.getBroadcast(this, 0, intent,0); //设置一个Pe

原创 【蘑菇街安卓版代码研究】漂亮的tabhost分类

先上图                                              sidebar_category.xml MGCategoryView.java/** * * @author YangJz * */public class MGCategoryView extends TabHost{ public MGCategoryView(Contex