我也要用- 博客(250)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 MySQL数据实时同步到Hive的架构与实践
背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS（Operational Data Store）数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。如何准确、高效地把MySQL数据同步到Hive中？一般常用的解决方案是批量取数并Load：直连MySQL去Select表中的数据，然后存到本地文件作为中间存储，最后把文件Lo
2021-02-25 10:05:20
30
原创 Netty 断开重连
. 前言上节，我们主要讲解了 Netty 的心跳检测机制，其中核心目的是提高性能。本节我们主要讲解的是 Netty 长连接的稳定性。2. 学习目的TCP 协议下，数据是可以双向传递，其实也就是全双工协议，通俗点来说就是长连接，只要客户端和服务端连接之后，双方可以正常通行，那么长连接是否存在什么不稳定性呢？在长连接情况下，通常面临的情况就是网络问题，网络抖动造成的连接假死，举个例子：其实客户端和服务端的 TCP 连接已经断开，但是双方没有监听到，认为该连接仍然是有效的。这样的问题会导致
2021-02-23 21:32:01
22
原创 Netty 心跳检测
1. 前言本节，我们主要讲解心跳机制 heartbeat，Netty 给我们提供了三个 Handler，分别是IdleStateHandler、ReadTimeoutHandler、WriteTimeoutHandler，主要目的是检查对方是否有效，也就是说对方是否还在线。2. 为什么需要心跳机制了解 TCP：TCP 协议适用于客户端数量相对比较少，并且通信频繁的业务场景；Http 协议则适用于客户端数量比较大的业务场景。因为 Http 是短连接，请求完成即会释放连接资源，不再占用服务器..
2021-02-23 21:19:11
11
原创 高并发场景--缓存与数据库数据一致性解决方案
一、业务背景在高并发的业务场景下，数据库是相对薄弱的环节，通常用户请求先访问到redis。如下图：业务场景1：从Redis缓存读数据业务场景2：数据库和缓存更新 一般设计数据库和缓存更新，就容易出现缓存(Redis)和数据库（MySQL）间的数据一致性问题。不管是先写MySQL数据库，再删除Redis缓存；还是先删除缓存，再写库，都有可能出现数据不一致的情况。举一个例子：1.如果删除了缓存Redis，还没有来得及写库MySQL，另一个线程就来读...
2021-02-23 21:04:10
34
2
原创 Netty ByteBuf 几种类型
Netty ByteBuf 几种类型1. 前言上一节，我们主要学习了 ByteBuf 的核心 API，相信大家都能掌握，本节主要介绍 ByteBuf 的几种分类。2. 创建一个 ByteBuf常见创建 ByteBuf 主要有两种方式，分别如下所示：方式一：ByteBuf byteBuf = ByteBufAllocator.DEFAULT.buffer(10);方式二：ByteBuf byteBuf = Unpooled.buffer(10);..
2021-02-19 14:58:13
10
原创 Netty ByteBuf 传输载体
Netty ByteBuf 传输载体1. 前言在 Netty 里面的数据读写是以 ByteBuf 为单位进行交互的，ByteBuf 是一个字节容器，如果了解过 NIO 的同学应该知道，在 NIO 里面也有类型的数据载体 ByteBuffer。2. 学习目的熟悉掌握 ByteBuf 的原理及 API，则可以自定义通信协议，并且使用 ByteBuf、序列化等技术实现通信协议，并且有效解决拆包和粘包问题（后面章节会详细分析）。3. ByteBuf 结构ByteBuff 的结构主
2021-02-19 14:54:26
22
原创 Netty ChannelHandler 性能优化
Netty ChannelHandler 性能优化1. 前言本节我们主要来继续讲解 ChannelHandler 的其它特性，主要讲解如何去进行 ChannelHandler 业务链表的常见性能优化。2. 优化途径通常情况下为了提高自定义业务 Handler 的性能需要进行一定的优化策略，常见的优化方案分别是缩短传播路径、Handler 单利等。传播路径：如果业务很复杂的情况，由很多的 Handler 组成的时候，链条过长会消耗性能，因此，一般都是动态的删除一些没用的 Hand.
2021-02-19 14:49:02
8
原创 Netty ChannelHandler 生命周期
Netty ChannelHandler 生命周期1. 前言本节内容，我们主要讲解 ChannelHandler 在执行过程中的生命周期是什么样的？需要执行哪些核心的生命周期方法以及顺序？了解生命周期的核心目的是，可以在合适的生命周期方法扩展自己的业务功能。2. UML 关系首先，我们先来了解以下 ChannelHandler 的类依赖关系图，具体如下所示：通过上面的类结构图，我们总结一下规律：ChannelHandler 有两个子接口，分别是ChannelInboun.
2021-02-19 14:44:35
10
原创 Netty ChannelHandler 业务处理
Netty ChannelHandler 业务处理1. 前言本节，主要讲解基于 ChannelHandler 去自定义专门处理业务逻辑的 Handler。使用 Netty 开发的客户端和服务端之间通信，通信只是数据的传输，但是接受到数据如何去处理，此时就需要用到我们的自定义 Handler 去实现了。并且通常情况下，不同的业务需要对应不同的 Handler。2. 自定义 Handler 步骤如果是接受对方传输数据并且做处理，则继承ChannelInboundHandlerAdapt.
2021-02-19 14:40:05
17
原创 Netty ChannelPipeline 数据管道
Netty ChannelPipeline 数据管道1. 前言前面，我们也提到了 ChannelPipeline，它是管道或者说管理 Handler 的集合，很多同学很容易搞混 Channel、ChannelPipeline 和 ChannelHandler 之间关系。本节内容我们需要理清并且掌握以下知识点：Channel、ChannelPipeline、ChannelHandler 之间的关系； 了解 ChannelPipeline 如何管理 ChannelHandler。2.
2021-02-19 14:32:17
14
原创 Netty EventLoop--事件循环机制
1. 前言前面几节主要讲解了 Netty 的几种线程模型，基本上都是理论上的东西，那么 Netty 是如何去实现这些线程模型的呢？答案：核心是 EventLoop，今天我们主要介绍 EventLoop 是如何来实现线程模型的。2. 什么是 EventLoop源码：public interface EventLoop extends OrderedEventExecutor, EventLoopGroup { EventLoopGroup parent();}public
2021-01-31 20:55:29
30
2
原创 Netty 线程模型
1. 前言前面几节分别讲解了 Reactor 的三种线程模型，都知道主从 Reactor 多线程模型的性能非常的好，那么 Netty 是否就是使用主从 Reactor 多线程模型呢？其实 Netty 线程模型是基于主从 Reactor 多线程模型做了一定的改造，Netty 的线程模型要比 Reactor 主从多线程模型还要复杂。本节主要是通过图解的方式逐步分析 Netty 线程模型的原理。2. Netty 模型介绍2.1 模型介绍Netty 模型架构说明：Netty 抽象出两
2021-01-31 20:53:55
21
2
原创 Netty Reactor 模型--主从多线程模型
1. 前言通过上节的分析，我们知道单 Reactor 多线程模型它的性能瓶颈在于单个 Reactor，本节主要讲解如何进行优化单个 Reactor 带来的性能瓶颈问题。2. 单 Reactor 性能瓶颈单 Reactor 主要存在的性能瓶颈如下：压力问题：客户端数量比较多的情况，单个 Reactor 负责监听和转发，那么 Reactor 压力非常的大； 单点故障问题：如果 Reactor 发生故障，则即使后面的 Handler 和 Worker 正常工作，但是整个应用程序无法正常对..
2021-01-31 20:52:00
103
6
原创 Netty Reactor模型--多线程模型
1. 前言回顾上节，我们了解了什么是传统堵塞 I/O 模型，什么是单 Reactor 单线程模型，以及它们的缺点，本节内容主要是针对单 Reactor 单线程模型的缺点进行升级，让它的性能得到进一步的提高。2. 如何进行优化首先，我们思考一下单 Reactor 单线程的性能瓶颈在哪里？主要有以下两个方面的性能上的缺点： 整个流程处理都是单线程，包括：监听客户端连接、分发客户端请求、处理客户端请求及响应，整个流程非常的复杂和耗时，只有一个线程的话，如果客户端数量比较多，那么将处理
2021-01-31 20:51:02
23
3
原创 NettyReactor模型--单线程模型
1. 前言不同的线程模式，对于程序的性能差别是很大的，目前存在的线程模式主要有两种，分别是传统堵塞 I/O 服务模型和Reactor 模型。其中又根据 Reactor 的数量和处理资源池线程的数量不同具体分为以下几种模型，具体如下： 单 Reactor 单线程； 单 Reactor 多线程； 主从 Reactor 多线程。 本节内容，主要讲解传统堵塞 I/O 模型和单 Reactor 单线程模型的核心原理。2. 学习目的学习 Reactor 模型的好处在于可以.
2021-01-31 20:50:03
21
2
原创 深入理解Reactor模型
主要通过Java IO模型的演变过程，及各个模型所解决的问题以及其存在的问题。最后，通过一个实际的例子来实现Reactor模型。1. 传统IO模型对于传统IO模型，其主要是一个Server对接N个客户端，在客户端连接之后，为每个客户端都分配一个执行线程。如下图是该模型的一个演示：从图中可以看出，传统IO的特点在于：每个客户端连接到达之后，服务端会分配一个线程给该客户端，该线程会处理包括读取数据，解码，业务计算，编码，以及发送数据整个过程； 同一时刻，服务端的...
2021-01-30 18:57:24
44
原创 Netty 核心组件
Netty 核心组件1. 前言本节我们主要从整体上了解 Netty 有哪些核心组件，很多同学学习完 Netty 虽然会使用，但是只知道如何自定义 Handler 而已，根本不清楚 Netty 有哪些核心的组件。本节的主要目的是，从整体上概括 Netty 的核心组件，有助于深入了解 Netty 以及关于 Netty 的面试。2. 核心组件Netty 的核心模块组件主要分为以下：组件模块 说明 Boostrap Bootstrap 其实就是启动的意思，主要用来配置
2021-01-29 19:45:06
27
2
原创 Netty ChannelFuture 异步监听
Netty ChannelFuture 异步监听1. 前言本节主要讲解 ChannelFuture ，它的作用是用来保存 Channel 异步操作的结果，可以看作是一个异步操作结果的占位符。2. 概念在 Netty 中所有的 IO 操作都是异步的，不能立刻得到 IO 操作的执行结果，但是可以通过注册一个监听器来监听其执行结果。在 Java 的并发编程当中可以通过 Future 来进行异步结果的监听，但是在 Netty 当中是通过 ChannelFuture 来实现异步结果的监听。通过
2021-01-29 19:44:25
47
原创 Netty ServerBootstrap 服务端启动类
Netty ServerBootstrap 服务端启动类1. 前言本节主要讲解服务端主启动类 ServerBootstrap 的核心 API 的使用。2. ServerBootstrap 流程ServerBootstrap 的用法基本上都是固定的，一般对于新接触 Netty 的同学来说，会觉得这些模板代码比较多，难以理解。我们主要记住几个核心配置即可。指定线程模型：通过.group(bossGroup, workerGroup)给引导类配置两大线程组，这个引导类的线程模型也就..
2021-01-29 19:42:46
24
原创 Netty Bootstrap 客户端端启动类
1. 前言上一节，我们主要讲解了一个入门案例，其中无论是客户端还是服务端的代码编写，都是分为 2 个核心步骤，分别是：启动类模板代码 + 自定义业务 Handler，其中 Handler 可以根据不同的业务定义多个。本节主要介绍 Bootstrap 客户端启动类的代码含义。2. Bootstrap 流程客户端启动类的写法都是固定模板的写法，需要掌握几个核心的流程，有助于理解模板代码，具体如下：指定线程模型：通过.group(group)给引导类配置线程组，这个引导类的线程模型也就..
2021-01-29 19:38:03
28
原创 Netty 入门案例
1. 前言本节主要是使用 Netty 来开发服务端和客户端，Netty 的开发模式基本上都是主启动类+自定义业务 Handler，Netty 是基于责任链的模式来管理自定义部分的 Handler，本节带大家感受一下 Netty 的开发。需求：本节主要通过 Netty 来实现我们的第一个 Demo，主要功能是分别建立两个项目（客户端和服务端），客户端向服务端发送Hello World，服务端接受到数据之后打印到控制台，并且给客户端响应。2. 环境搭建第一步：使用 Maven 构建...
2021-01-29 19:25:03
26
原创 Netty 简介
Netty 简介1. 什么是 NettyNetty 是由 JBOSS 提供的一个 Java 开源通讯框架，用以快速开发高性能、高可靠性的网络 IO 程序。它底层很好地封装了 Socket，处理网络通信的一个开源通信框架。通俗说明，Netty 就是解决两个系统之间互相通信的一个框架。在 Java 领域 Netty 运用非常地广泛，Tomcat、Dubbo、RocketMQ、Zookeeper、Spark、Flink、ElasticSearch 等等这些中间件的网络通讯框架都是基于 Netty
2021-01-29 19:21:52
67
4
原创 Netty--系列教程
Netty 教程1.Netty 简介2.Netty 第一应用Netty 入门案例Netty Bootstrap 客户端启动类ServerBootstrap 服务端启动类Netty ChannelFuture 异步监听Netty 核心组件3.EventLoop 和线程模型Netty Reactor 模型之单线程模型Netty Reactor 模型之多线程模型Netty Reactor 模型之主从多线程模型Netty 线程模型Netty EventLoop 事
2021-01-29 19:18:02
54
转载 深入理解--ES之倒排索引
正向索引（forward index），反向索引（inverted index）更熟悉的名字是倒排索引。在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合。例如“文档1”经过分词，提取了20个关键词，每个关键词都会记录它在文档中的出现次数和出现位置。得到正向索引的结构如下：“文档1”的ID > 单词1：出现次数，出现位置列表；单词2：出现次数，出现位置列表；…………。“文档2”的ID > 此文档出现的关键词列表。一般是通过key，...
2021-01-29 14:48:00
19
原创 深入理解--Threadlocal原理，及可能导致内存泄露
一.原理（1）什么是ThreadLocal变量？ThreadLoal 变量，线程局部变量，ThreadLocal 提供了线程本地的实例，它与普通变量的区别在于，每个使用该变量的线程都会初始化一个完全独立的实例副本。当一个线程结束时，它所使用的所有 ThreadLocal 相对的实例副本都可被回收。总的来说，ThreadLocal 适用于每个线程需要自己独立的实例且该实例需要在多个方法中被使用，也即变量在线程间隔离而在方法或类间共享的场景。（2）ThreadLocal内部数据结构首先 Th
2021-01-23 20:33:11
32
转载 【Java进阶】并发编程
1. 概述三种性质 可见性：一个线程对共享变量的修改，另一个线程能立刻看到。缓存可导致可见性问题。 原子性：一个或多个CPU执行操作不被中断。线程切换可导致原子性问题。 有序性：编译器优化可能导致指令顺序发生改变。编译器优化可能导致有序性问题。 三个问题 安全性问题：线程安全 活跃性问题：死锁、活锁、饥饿 性能问题： 使用无锁结构：TLS，Copy-On-Write，乐观锁；Java的原子类，Disruptor无锁队列 减少锁的持有时间：让锁细粒度。如Concurr
2021-01-13 23:17:50
21
转载 52条SQL语句性能优化策略
本文会提到 52 条 SQL 语句性能优化策略。1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 WHERE 及 ORDER BY 涉及的列上建立索引。2、应尽量避免在WHERE子句中对字段进行NULL值判断，创建表时 NULL 是默认值，但大多数时候应该使用 NOT NULL，或者使用一个特殊的值，如 0，-1 作为默认值。3、应尽量避免在WHERE子句中使用 != 或 <> 操作符。MySQL 只有对以下操作符才使用索引：<，<=，=...
2020-12-29 09:00:05
32
转载 总结Minor GC、Full GC触发条件
GC，即就是Java垃圾回收机制。目前主流的JVM（HotSpot）采用的是分代收集算法。与C++不同的是，Java采用的是类似于树形结构的可达性分析法来判断对象是否还存在引用。即：从gcroot开始，把所有可以搜索得到的对象标记为存活对象。GC机制要准确理解Java的垃圾回收机制，就要从：“什么时候”，“对什么东西”，“做了什么”三个方面来具体分析。第一：“什么时候”即就是GC触发的条件。GC触发的条件有两种。（1）程序调用System.gc时可以触发(会建议JVM进行垃圾回收，不代表一定会进
2020-12-18 16:52:41
68
2
原创 深入理解RocketMQ事务源码--TransactionMQProducer、TransactionListener
前言上篇文章，介绍了RocketMQ消息类型支持事务消息，常见用在分布式系统中，保证数据的一致性。接下来一起去走进 TransactionMQProducer、TransactionListener俩个核心类
2020-12-16 18:34:19
187
原创 深入理解RocketMQ--基础知识
1.简介 消息队列RocketMQ版是阿里云基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式消息中间件，可为分布式应用系统提供异步解耦和削峰填谷的能力。2.核心概念nameserver：主要管理Broker、路由信息管理Broker，接受来自Broker集群发送的注册，以及提供心跳机制来检查Broker是否还存活。 管理路由信息，每一个NameServer都存储有路由信息和队列信息，提供给Producer和Consumer查询broker:主要负责...
2020-12-16 15:54:00
32
原创 深入理解RocketMQ--事务消息
消息队列RocketMQ版提供的分布式事务消息适用于所有对数据最终一致性有强需求的场景。本文介绍消息队列RocketMQ版事务消息的概念、优势、典型场景、交互流程以及使用过程中的注意事项。概念介绍事务消息：消息队列RocketMQ版提供类似X或Open XA的分布式事务功能，通过消息队列RocketMQ版事务消息能达到分布式事务的最终一致。 半事务消息：暂不能投递的消息，发送方已经成功地将消息发送到了消息队列RocketMQ版服务端，但是服务端未收到生产者对该消息的二次确认，此时该消息被标记成“暂
2020-12-16 11:29:23
45
原创 Linux RocketMQ搭建、及常用命令
首先进入进入/RocketMQ/bin 在该目录下有个 mqadmin 脚本 .查看帮助： 在 mqadmin 下可以查看有哪些命令 a:查看具体命令的使用 :sh mqadmin b: sh mqadmin help 命令名称 例如，查看 updateTopic 的使用sh mqadmin help updateTopic2. 关闭nameserver和所有的broker: 进入到bin下： sh mqshutdown namesr...
2020-12-11 11:04:30
29
转载 RabbitMQ如何保证幂等性
幂等性是分布式系统设计中的一个重要概念，是在做系统或者接口设计时要着重考虑的问题，尤其像支付宝、银行、互联网金融等涉及钱的系统，既要高效，数据也要准确，绝对不能出现多扣款，多打款等问题，幂等性的设计就显得更为重要了。本文我们就先来解释一下什么是幂等性？然后再看一下在MQ中怎么保证幂等性？一、什么是幂等？幂等性的实质是：对于一个资源，不管你请求一次还是请求多次，对该资源本身造成的影响应该是相同的，不能因为重复相同的请求而对该资源重复造成影响。注意关注的是请求操作对资源本身造成的影响，而不是请求资源
2020-11-30 22:09:32
52
转载 基于RocketMQ的分布式事务解决方案
前言在系统变的复杂后，分布式、微服务等架构技术，就要考虑到应用在系统中了。尤其数据量大了后，就需要对数据库进行拆分。如：注册的用户数据，量大了后，就需要考虑分库分表一旦数据库进行了分拆，那就出现很多头疼的问题，其中之一就是事务问题。那我们就来看看问题是怎么出现的？场景先来上个图进行数据拆分后，就类似上面的架构上图中我们就拿用户的数据进行举例，用户量一旦几千万时，就需要进行分库分表；上图就分了3个库，每个库都保证了高可用。这样的架构设计，会遇到事务问题，..
2020-11-30 22:07:26
30
转载 基于Redis实现Springcloud Gateway动态路由
1. 将 actuator 端点暴露出来management: endpoints: web: exposure: include: "*"2. redis 配置https://www.cnblogs.com/idea360/p/12632801.html3. 将原内存路由持久化到 redis@Componentpublic class RedisRouteDefinitionRepository implements RouteDefin
2020-11-20 17:21:58
113
原创 MySQL主从同步，及Canal实时数据库同步
1.简介 Linux下MySQL数据库的主从同步用来实现读写分离。主数据库进行数据的插入，删除与更新；从数据库专门用来查询操作，缓解数据库的压力。让运行海量数据的时候无论是从速度还是效率上都大大提高，Mysql的主从复制至少是需要两个Mysql的服务，当然Mysql的服务是可以分布在不同的服务器上，也可以在一台服务器上启动多个服务。2.主从同步原理 Mysql服务器之间的主从同步是基于二进制日志机制，主服务器使用二进制日志来记录数据库的变动情况，从服务器通过读取和执行该日志文件来...
2020-10-19 22:33:11
51
2
原创 深入理解--CAS算法原理
1、CAS介绍CAS：Compare and Swap，即比较再交换,而。在java.util.atomic包下，找一个原子操作类AtomicInteger，CAS源码如下：valueOffset (该变量在内存中的偏移地址) expect（预期值） update（新值）/** * Atomically sets the value to the given updated value * if the current value {@code ==} the expec
2020-09-26 23:44:19
80
转载 深入理解Dubbo--Provider线程池
最近在进行下单压测的时候发现，当调用下单服务的并发量比较高的时候，大部分都失败了，只有200个下单可以成功（protocol采用默认配置？在调研测试了一番之后发现了一些问题，首先我们从dubbo的Dispatcher开始分析： dubbo默认使用netty进行通讯，在dubbo中，NettyHandler、NettyServer、MultiMessageHandler、HeartbeatHandler都实现了ChannelHandler接口，来实现接收、发送、连...
2020-09-25 17:22:07
273
转载 深入理解线程池--ThreadPoolExcutor
线程池技术在并发时经常会使用到，java中的线程池的使用是通过调用ThreadPoolExecutor来实现的。ThreadPoolExecutor提供了四个构造函数,最后都会归结于下面这个构造方法：// 七个参数的构造函数public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTi...
2020-09-25 16:07:07
24
原创 深入理解Dubbo--架构
节点角色说明节点 角色说明 Provider 暴露服务的服务提供方 Consumer 调用远程服务的服务消费方 Registry 服务注册与发现的注册中心 Monitor 统计服务的调用次数和调用时间的监控中心 Container 服务运行容器 调用关系说明服务容器负责启动，加载，运行服务提供者。 服务提供者在启动时，向注册中心注册自己提供的服务。 服务消费者在启动时，向注册中心订阅自己所需的服务。 注册中心返回服务提供者...
2020-09-14 22:42:07
44
友盟消息推送 Java服务端Push SDK
2018-08-31
基于安卓开发医疗诊断系统（含设计文档和源码）
2020-01-03
maui3.3.1.0.tar.gz
2020-06-11
(免费)spring boot 2.0.0 M4 官网文档下载
2017-09-28
torque-4.2.0-snap.201302040907.tar.gz
2020-06-11
Centos7 python2.7和yum资源包
2020-04-22
Ztree官方API及实例教程
2018-03-19
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝