- 博客(66)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 分布式事务使用
最近写了一个分布式事务，欢迎来吐槽。项目地址：https://github.com/zjwwf/dsc-transaction一、mq消息分布式事务实现流程图注：步骤1执行本地事务、步骤2发生mq消息以及3、写入事务表消息在事务发起者中执行，要保证三个步骤在同一个本地事务中，1.0.0版本使用rocketmq的事务消息实现，保证三个步骤在同一个本地事务中执行，保证一致性。一、使用方法1、maven引入（此分布式事务项目中使用的是spring5，若和其他项目spring本版本冲突.
2020-09-06 20:45:46
886
转载 Logstash filter 的使用
原文地址：http://techlog.cn/article/list/10182917概述logstash之所以强大和流行，与其丰富的过滤器插件是分不开的过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的新事件到后续流程中强大的文本解析工具--Grokgrok是一个十分强大的logstashfilter插件，他可以解...
2020-03-24 15:27:30
550
原创 二叉排序树
一、二叉排序树简介二叉排序树，又叫二叉查找树，它或者是一棵空树；或者是具有以下性质的二叉树：若它的左子树不空，则左子树上所有节点的值均小于它的根节点的值； 若它的右子树不空，则右子树上所有节点的值均大于它的根节点的值； 它的左右子树也分别为二叉排序树。二、二叉排序树的创建假设我们要为数组 a[] ={62, 88, 58, 47, 35, 73, 51, 99, 37, 9...
2020-01-07 14:56:00
522
1
原创 Hadoop的安装与配置
Hadoop的三大工程1 MapReduce（离线计算框架） A：基本思想 对海量数据的处理（分布式） 思想： 分而治之 大数据集分为小的数据集 每一个数据集，进行逻辑业务处理（Map） 合并统计数据结果（reduce） ...
2019-05-30 15:25:19
244
原创 dubbox与dubbo的区别及dubbox实现rest服务
一、dubbox的由来 dubbox是当当网基于dubbo的基础上开发的扩展版，也可以认为是dubbo的升级版，根据当前互联网的应用需求，增加了很多扩展的功能。 dubbox并没有发布到maven中央仓库的包，目前代码在github上，需要自己down下来编译，基于maven开发的。 项目GitHub地址：https://github.com/dangdangdotcom/...
2019-03-02 00:19:53
1008
原创 java.io.IOException: No FileSystem for scheme: hdfs错误解决
在一次用maven-assembly打包HDFS项目成jar后运行出现了以下错误(maven-assembly可以将Maven依赖的Jar都一起打包进来)log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Ple...
2018-12-07 23:32:01
2564
原创 腾讯云启动Yarn出现不断提交Job导致卡死的问题
最近在学校Hadoop的过程中发现在腾讯云服务器启动Yarn后运行MapReduce程序时会出现服务器CPU占用100%的情况，有时甚至导致服务器卡死的问题。后来在查看Yarn的Web端界面时候发现在Yarn中不断的产生dr.who用户不断提交的Job（Yarn启动后Web页面是http://ip:8088/）在网上找了许多资料得知这个是一个在挖矿木马，黑客利用开放的8088端口攻击你...
2018-12-07 00:16:45
873
原创 SpringCloud基于LCN的分布式事务
LCN是国产开源的分布式事务处理框架。LCN即：lock（锁定事务单元）、confirm（确认事务模块状态）、notify（通知事务）。LCN的实现是基于3PC的算法，结合TCC的补偿机制。LCN的核心步骤核心步骤 1、创建事务组 是指在事务发起方开始执行业务代码之前先调用TxManager创建事务组对象，然后拿到事务标示GroupId的过程。 2、添加...
2018-11-17 00:27:23
972
原创 分布式事务解决方案
前的数据库仅支持单库事务，并不支持跨库事务。而随着微服务架构的普及，一个大型业务系统往往由若干个子系统构成，这些子系统又拥有各自独立的数据库。往往一个业务流程需要由多个子系统共同完成，而且这些操作可能需要在一个事务中完成。在微服务系统中，这些业务场景是普遍存在的。此时，我们就需要在数据库之上通过某种手段，实现支持跨数据库的事务支持，这也就是大家常说的“分布式事务”。在分布式事务中存在着cap理论...
2018-11-16 16:16:10
134
原创 dubbo总结--dubbo的容错机制和负载均衡
dubbo中提供了5种容错机制，用于微服务调用出错了进行重试或者忽略1、Failover Cluster这是Dubbo中默认的容错机制，这种方式比较常用。这种方式可以进行失败自动切换，当出现失败，重试其它服务器。通常用于读操作，但重试会带来更长延迟。可通过retries="2"来设置重试次数(不含第一次)。 <dubbo:service retries="2" /> 或...
2018-11-12 22:33:26
4517
原创 dubbo总结--dubbo的使用
dubbo是一个微服务框架，dubbo也是有一个服务注册中心（Zookeeper），服务提供者以及服务消费者。服务提供者需要一个暴露接口的工程，用来服务消费的调用。服务提供者的接口实现类继承暴露接口工程的接口。dubbo调用流程 1.服务容器负责启动，加载，运行服务提供者 2.服务提供者在启动时，向注册中心注册自己提供的服务 3.服务消费者在启动时，向注册中心订阅自己所需的服务 ...
2018-11-11 22:22:15
240
原创 SpringCloud总结--Zuul的使用
Zuul是一个api网关管理组价，解决一个页面调用多个服务，则需要配置多个服务ip和端口，这个可以统一交给zuul管理，直接使用zuul，有zuul给页面分配服务的地址（ip+端口），zuul默认会反向代理Eureka上的所有服务。使用Zuul的好处是：若服务提供者的ip端口后，所有的服务消费者都需要改，这样比较麻烦，配置了Zuul只需该Zuul配置服务提供者的地址就行了一、简单的使用...
2018-11-11 20:54:15
313
原创 SpringCloud总结--hystrix的使用
hystrix主要作用在服务消费者，进行应用的保护，当请求的服务请求超时时，做出相应的处理，避免客户端一直进行请求等待，避免在高并发的情况出现服务器死机（请求过多，内存不足）接下来的通过一个案例对hystrix的使用进行说明，案例完成的功能： 服务消费者根据Id调用服务提供者的接口，获取User表单的对应的记录，若请求超时则返回id为-1的User记录一、基于Ribbon&...
2018-11-11 18:01:02
140
原创 SpringCloud总结--Eureka的集群搭建
在SpringCloud中通常需要使用Eureka最为注册中心，在分布式的环境中，就需要就需要Eureka的高可用，即搭建Eureka 的集群，下面就对Eureka集群的搭建做一个简单的案例说明这边我是在一台机器上做的按钮，所以在hosts文件做了一些ip和机器名的映射配置，做一个伪分布式的Eureka集群127.0.0.1 peer1127.0.0.1 peer21、pom.xm...
2018-11-11 15:38:14
189
原创 activemq总结--重发机制
在activemq中存在消息确认机制，即ACK机制，ACK (Acknowledgement），即确认字符，在数据通信中，接收站发给发送站的一种传输类控制字符。表示发来的数据已确认接收无误。JMS API中约定了Client端可以使用四种ACK_MODE,在javax.jms.Session接口中: AUTO_ACKNOWLEDGE = 1 自动确认 CL...
2018-11-11 15:19:17
925
原创 SpringCloud总结--SpringCloud简单使用以及Ribbon和Feign的使用
SpringCloud是基于SpringBoot的一整套实现微服务的框架。他提供了微服务开发所需的配置管理、服务发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等组件。最重要的是，跟spring boot框架一起使用的话，会让你开发微服务架构的云服务非常好的方便。SpringCloud也是基于RPC远程调用协议，所以也是需要一个注册中心，注册中心可以使用Eure...
2018-11-11 00:22:39
422
原创 java使用activemq示例代码
一、点对点通信1、消息发送者 import javax.jms.Connection;import javax.jms.ConnectionFactory;import javax.jms.Destination;import javax.jms.JMSException;import javax.jms.MessageProducer;import javax.jms....
2018-11-10 18:43:02
787
原创 ubuntu系统 zookeeper的安装
一、单机版安装1、到 http://apache.fayea.com/zookeeper/下载 zookeeper-3.4.6：$wgethttp://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz2、解压 zookeeper 安装包：$ tar -zxvf zookeeper-3.4.6.t...
2018-11-10 16:12:23
481
原创 activeMQ的安装--单机版
一、单机版1、 安装 JDK 并配置环境变量（略）2、下载apache-activemq-5.11.1-bin.tar.gz3、 解压安装$ tar -zxvf apache-activemq-5.11.1-bin.tar.gz$ mv apache-activemq-5.11.1 activemq-01如果启动脚本 activemq 没有可执行权限，此时则需要授权（此步可选）...
2018-11-08 23:53:09
127
原创 ssm整合
一、工程目录二、pom.xml依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <junit.version>4.9</junit.version> <...
2018-11-08 23:25:29
110
原创 redis总结--主从复制和哨兵模式
Redis 主从复制是主机数据更新后根据配置和策略，自动同步到备份的master/slaver机制，master写为主，slaver以读为主，能够做到读写分离，容灾恢复。主从复制的准备工作 a、拷贝多个redis.conf文件， b、开启daemonize yes， c、Pid文件名字， d、指定端口， e、log文件名字， f、dump.rd...
2018-11-08 22:17:17
144
原创 Redis总结--redis的数据类型和简单操作
一、redis的五大数据类型1、String（字符串）2、Hash（哈希，类似于java的Map）3、List（列表）4、Set（集合）5、Zset（sorted set 有序集合）二、常用命令：（一）key1、exists key : 判断某个key是否存在2、move key db ：把当前库的某个可以移动到db库 eg：move k1 23、expire key 秒钟 ：...
2018-11-07 23:11:09
188
原创 Mybaits总结--二级缓存
Mybaits中有一级缓存和二级缓存，在默认情况一级缓存时开启的，二级缓存时关闭的1.一级缓存：session级别：查询的相同的信息将会从session中先查询 A：一级缓存默认就会被使用 B：必须是同一个Session,如果session对象已经close()过了就不可能用了 C：查询条件是一样的 D：没有执行过session.clearCa...
2018-11-06 23:24:23
148
原创 Mybaits总结--一对多查询
一、表结构CREATE TABLE `class` ( `c_id` int(2) NOT NULL AUTO_INCREMENT, `c_name` varchar(30) DEFAULT NULL, `teacher_id` int(2) DEFAULT NULL, PRIMARY KEY (`c_id`), KEY `t_id_fk` (`teacher_id`),...
2018-11-06 23:02:57
225
原创 Mybaits总结--一对一查询
一、表结构CREATE TABLE `class` ( `c_id` int(2) NOT NULL AUTO_INCREMENT, `c_name` varchar(30) DEFAULT NULL, `teacher_id` int(2) DEFAULT NULL, PRIMARY KEY (`c_id`), KEY `t_id_fk` (`teacher_id`),...
2018-11-06 22:21:43
197
转载 基本数据结构――堆的基本概念及其操作
转载自：https://www.cnblogs.com/JVxie/p/4859889.html，同时感谢大佬的分析 在我刚听到堆这个名词的时候，我认为它是一堆东西的集合 但其实吧它是利用完全二叉树的结构来维护一组数据，然后进行相关操作，一般的操作进行一次的时间复杂度在 O(1)~O(logn)之间。 可谓是相当的引领时尚潮流啊(我不信学信...
2018-11-06 15:35:40
165
原创 Mybaits总结--Mybaits的简单使用
一、Mybaits的简单使用1、导入jar包commons-logging-1.1.1.jar，mybatis-3.1.1.jar2、Mybaits的配置文件（名字可以随意，这边去conf.xml）<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE configuration PUBLIC "-//mybatis.o...
2018-11-06 00:05:49
404
原创 SpringMVC总结--文件上传
一、配置文件<!-- 文件上传 --><!-- 配置MultipartResolver,注意id一定要为multipartResolver --><bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver...
2018-11-05 21:40:58
138
原创 SpringMVC总结--数据格式转换和数据校验
SpringMVC数据绑定流程 A：SpingMVC 主框架将 ServletRequest 对象及目标方法的入参实例传递 WebDataBinderFactory 实例，以创建DataBinder 实例对象 B：DataBinder 调用装配在 SpringMVC 上下文中的ConversionService 组件进行 数据类型转换、数据格式工作，将Servlet 中...
2018-11-05 00:18:14
348
原创 SpringMVC 自定义视图
SpringMVC 借助视图解析器（ViewResovler）得到最终的的对象（View），最终视图可以是JSP，也可能是Excel，JFreeChart 等各种表现形式的视图。同时也可以自定义视图，下面就讲述下自定义视图的步骤一、配置BeanNameViewResolver 视图解析器：使用视图的名字来解析视图 <bean class="org.springframe...
2018-11-04 22:12:23
270
原创 SpringMVC总结-SpringMVC的运行流程以及简单运用
SpringMVC的入口是DispatcherServlet，可以在web.xml配置DispatcherServlet 的拦截URL的表达式。下面对SpringMVC的运行流程做具体的说明一、运行流程1.客户端在发起请求时，会先去检查请求是不是符合DispatcherServlet的url-pattern a：若不符合则检查是否配置mvc:default-servlet-han...
2018-11-02 23:55:16
138
原创 Spring AOP代理类生成错误
在整合的ssh时出现一个Spring AOP代理类生成的错误，问题出现在配置事务的时候，切面表达式写的范围太大，导致执行Spring事务时候生成代理类时出现了一个错误项目目录配置文件 <!-- 导入外部文件 --> <context:property-placeholder location="classpath:db.properties"/&...
2018-11-02 23:02:13
322
原创 SSH整合案例
案例工程目录一、Spring 整合 Hibernate 1.配置Hibernate 的基本属性 a：数据源需配置到 IOC 容器中，所以在此处不再需要配置数据源 b：关联的 .hbm.xml 也在IOC 容器配置 SessionFactory 实例时在进行配置 c：配置 Hibernate 的基本属性：方言，SQL 显示...
2018-11-02 22:37:21
195
原创 Hibernate总结--一级缓存和二级缓存
在Hibernate中存在一级缓存和二级缓存，一级缓存时Session 级别的缓存，它是属于事务范围的缓存，这一级别的缓存由 hibernate 管理的。一级缓存Hibernate默认会实现，当使用get或者load等方式查询时会将结果存在Session中，在下一次查询时。若是同一个Session，则Hibernate会先去Session查询，然后再去查询数据库Hibernate二级别的缓存时...
2018-11-01 00:27:31
262
原创 Hibernate--HQL、QBC以及本地SQl查询
Hibernate中提供了HQL、QBC以及SQL的三种形式查询，HQL查询是一种根据映射文件的便捷查询，只要写部分SQL语句即可。QBC查询则是借助Criteria 进行快捷的查询。SQL查询是基于SQL语句的查询以下案例用于查询的两个表结构CREATE TABLE `department` ( `id` int(2) NOT NULL AUTO_INCREMENT, `NAME...
2018-10-31 23:47:14
253
原创 Hibernate总结--一对一关联查询
在Hibernate查询中存在一对多，多对一，多对多、一对一关系，本篇就简单的对一对一查询进行总结，一对一关联查询有两种方式，一个是基于外键的一个是基于主键的一、基于外键的 1.sql语句 CREATE TABLE `manger` ( `MGR_ID` int(2) NOT NULL, `MGR_NAME` varchar(30) DEFA...
2018-10-30 23:09:33
1357
原创 Spring Session 实现Session
本篇主要讲述Spring session共享的原理和实现按钮一、实现原理这里简单说明描述：就是当Web服务器接收到http请求后，当请求进入对应的Filter进行过滤，将原本需要由web服务器创建会话的过程转交给Spring-Session进行创建，本来创建的会话保存在Web服务器内存中，通过Spring-Session创建的会话信息可以保存第三方的服务中，如：redis,mysql等。W...
2018-10-30 22:07:52
147
原创 Hibernate总结--一对多
数据表中种存在一对一、一对多、多对一的关系，比如部门表跟员工表就存在一对多的关系，一个部门对应多个员工，Hibernate中使用one-to-many、many-to-one、one-to-one来处理这些关系一、SQL语句 订单表CREATE TABLE `order` ( `ORDER_ID` int(2) NOT NULL AUTO_INCREMENT, `ORD...
2018-10-28 23:30:20
195
原创 Hibernate总结--入门使用
一、需要的jar包二、在src下加入Hibernate的配置文件hibernate.cfg.xml<?xml version='1.0' encoding='UTF-8'?><!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0...
2018-10-28 22:36:34
174
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人