慕沐.-CSDN博客

原创【大数据】Flume源码分析之启动过程

要分析flume的源码，首先要从Flume的启动开始，然后再分析Flume的各个组件服务Source、Channel、Sink的源码，接下来我们就来看下Flume是如何启动的吧Flume的启动入口org.apache.flume.node.Application1、校验命令行Options options = new Options(); Option option = new Option("n", "name", true, "the name of this agent".

2021-06-20 14:26:16 879

原创【大数据】Flume该如何安装使用呢

通过上一篇博客(【大数据】Flume是个什么呢)，我们可以基本了解认识到Flume是什么了，以及它主要是干嘛用的，纸上谈兵终觉浅，那究竟Flume该如何安装使用呢？一、安装1、先安装jdk我安装的是jdk1.82、下载flume包下载地址http://flume.apache.org/download.html3、解压tar zxvf apache-flume-1.9.0-bin.tar.gz4、切到解压后的路径下，查看是否安装成功./bin/flume-ng version.

2021-04-18 21:38:53 201

原创【大数据】Flume是个什么呢

一、Flume的简介Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎所有可能的数据源。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力二、Flume的架构说到Flume的架构，先来了解下Flume的核心组件吧（1）Agen

2021-04-11 18:11:32 282 1

原创实现搜索关键词高亮的方式—elasticsearch与AC算法

实现搜索关键词高亮，如果你用的是elasticsearch，直接可以用elasticsearch自带的dsl语法highlight即可，如果用的是mysql，那实现的思路就是根据关键词取出搜索的内容，然后再内容中关键词的前后加上html标签即可。接下来我就具体介绍下实现步骤1、使用Elasticsearch，实现关键词高亮使用elasticsearch，实现高亮，只需要在dls语句中加上highlight语法即可，这样就会返回加油高亮标签的字段值了，它主要是依赖于Elasticsearch底层的Luce

2021-01-31 18:35:00 979

原创 Java使用itextpdf实现为已有的pdf文件添加水印

在实际运用中，我们往往不想将原pdf文件给用户，而是想给有水印的pdf文件给用户，这样既保护了自己文章的写作权还可以加以宣传。那么，在PDF文件上添加水印，使用Java该如何实现呢？实现过程1、添加itextpdf依赖<dependency> <groupId>com.itextpdf</groupId> <artifactId>itextpdf</artifactId> <version>5.5.9

2020-12-20 18:09:51 3487 2

原创 SpringBoot如何整合BBoss Elasticsearch呢

大家一定很熟悉mybatis了，它是一个持久层框架，可以通过简单的XML或注解来配置，映射为数据库中的数据。我们通常是在xml文件中写sql，来操作数据库中的数据。而接下来要讲的bboss elasticsearch就和它类似，大家习惯了之前这个使用mybatis的方式操作数据库了，使用java客户端直接操作elasticsearch会不习惯，所以可以使用bboss来操作elasticsearch。bboss是一款高性能elasticsearch ORM开发库，以类似于mybatis管理和配置sql的方

2020-11-29 20:50:01 1102 2

原创 Guava有了解吗，怎么使用呢

Guava其实就是个工具类，封装了平时常用的方法，不用再重复造轮子，节省开发时间，提高工作效率。Guava包含了被Google的Java项目广泛依赖的核心库，有集合 [collections]、缓存 [caching]、原生类型支持 [primitives support]、并发库 [concurrency libraries]、通用注解 [common annotations]、字符串处理 [string processing]、I/O 等。举个使用字符串处理的例子，其他就都类似了1、先引入guav

2020-10-18 19:32:57 750

原创【Spring】SpringBoot如何实现项目的热部署

项目中有用热部署，感觉很便捷，之前忘记完整理步骤了，这次就详细记录下使用过程，分享给大家热部署的原理原理是热部署的实现原理主要依赖java的类加载机制，在实现方式可以概括为在容器启动的时候起一条后台线程，定时的检测类文件的时间戳变化，如果类的时间戳变掉了，则重新加载整个应用的class文件，同时重启服务，重新部署。将文件更改自动部署到服务器并自动重启服务器。开发人员可以重新加载 Spring Boot 上的更改，而无需重新启动服务器。这将消除每次手动部署更改的需要。热部署的实现1、添加依赖&.

2020-10-11 21:09:49 862

原创 OpenStack是什么呢，能用来做什么呢

OpenStack是Rackspace和NASA共同成立的一个开源项目，它是为云计算服务的，提供存储空间、计算能力等资源服务的Web Service。简单来说，OpenStack就是一个操作系统，一套软件，一套IaaS（基础设施即服务）软件，对资源进行管理，并且以服务的形式提供给上层应用或者用户去使用。云计算的三种服务模式Iaas基础设施即服务，基础设施包括计算、存储、网络，也就是CPU，硬盘，网卡PaaS平台即服务，将软件研发的平台作为一种服务SaaS软件即服务，是一种软件交付模式，软件仅需

2020-10-02 17:53:12 7794 2

原创【中间件】为什么用Kafka，它是怎么做到高吞吐量高性能的

之前在项目中，有用Kafka来做日志处理，只知道Kafka很适合用来处理日志，它高性能、高吞吐量。那么它是如何做到高性能、高吞吐量的呢？（1）使用了页缓存技术Kafka 每次接收到数据都会往磁盘上去写，它是基于操作系统的页缓存来实现文件写入的操作系统本身有一层缓存，叫做 Page Cache，是在内存里的缓存，我们也可以称之为 OS Cache，意思就是操作系统自己管理的缓存。在写入磁盘文件的时候，可以直接写入这个 OS Cache 里，也就是仅仅写入内存中，接下来由操作系统自己决定什么时候把 OS

2020-09-27 21:30:55 349 1

原创【Spring】Spring中是如何解决循环依赖的问题呢？

在Spring中，解决循环依赖，只有属性注入的方式而且还是单例的，才可以解决循环依赖的问题，构造器和属性注入多例的都是不能够解决循环依赖的1、构造器参数循环依赖Spring容器会将每一个正在创建的 Bean 标识符放在一个“当前创建Bean池”中，Bean标识符在创建过程中将一直保持在这个池中，因此如果在创建Bean过程中发现自己已经在“当前创建Bean池”里时将抛出BeanCurrentlyInCreationException异常表示循环依赖；而对于创建完毕的Bean将从“当前创建Bean池”中清除

2020-09-20 20:43:56 495 3

原创【Redis】Redis集群的三种模式——主从复制、哨兵模式、Cluster

一、主从复制模式主数据库可进行读写，当写操作导致数据变化时会自动将数据同步到从数据库；从数据库一般是只读的，并接受主数据库同步过来的数据1、工作原理（1）Slave从节点服务启动并连接到Master之后，它将主动发送一个SYNC命令（2）Master服务主节点收到同步命令后，开始执行BGSAVE命令生成快照文件（RDB文件），并使用缓冲区记录此后执行的所有写命令（3）Master服务主节点BGSAVE执行完后，向所有Slave从节点服务发送快照文件，并在发送期间继续记录被执行的写命令（4）S

2020-09-13 20:31:24 768

原创【问题解决】VM 与 Device/Credential Guard 不兼容，怎么办呢

问题起因之前虚拟机都运行的好好的，今天运行突然出现了VM 与 Device/Credential Guard 不兼容的问题，唯一想到的变化就是我最近研究docker，所以把Hyper-V打开了，于是就从控制管理页面吧之前勾选的Hyper-V都取消掉，然后重启电脑，但是仍然没有解决这个不兼容的问题，原来这种普通的关闭是无效的，需要用管理员权限使用命令来关闭，然后重启就好了。解决步骤1、Windows+X，选择Windows PowerShell （管理员）2、输入命令 bcdedit /set h

2020-09-06 10:01:10 690 2

原创【Redis】Redis如何持久化呢

redis的操作都是在内存中操作的，所以很快，但是如果只存在于内存中，一旦机器宕了，岂不是所有数据都没了，所以要持久化到磁盘，持久化的方式有RDB、AOF、及混合模式一、RDBRDB是一个非常紧凑的文件，它在保存RDB文件时父进程唯一要做的就是fork出一个子进程，接下来的工作全部由子进程来做，父进程不需要再做其他IO操作，所以RDB持久化方式可以最大化redis的性能。与AOF相比，在恢复大的数据集的时候，RDB方式会更快一些，但是他数据丢失风险大，最后一次持久化的数据可能丢失配置的方式ap.

2020-08-30 20:53:15 121

原创【ELK】用Elasticsearch搜索为什么会那么快呢？倒排索引

elasticsearch(简称ES)是一个基于Lucene构建的开源、分布式、RESTful的全文本搜索引擎，大家都知道使用elasticsearch全文搜索，是因为用它快，那为什么会快呢？这主要取决于它底层是用倒排索引实现的。那什么是倒排索引呢，与之对应的正排索引又是什么呢？正排索引elasticsearch是面向文档的，每向elasticsearch插入一个文档，他都会与之对应生成一个id构建正排索引，如下文档编号文档内容1世界不会辜负可爱的人2而我们如此可爱

2020-08-23 20:07:46 724

原创【Redis】你了解redis五种基本类型的内部结构吗

String它底层有三种基本结构List它里边有ziplistHash它里边有ziplistSet它里边是hashtable和intsetZset它里边是hashtable和跳表

2020-08-16 23:13:03 152

原创【并发】实现分布式锁的三种方式（主推Redisson）

可重入锁 // 普通用法 rLock.lock(); // 支持过期解锁功能,5秒钟以后自动解锁, 无需调用unlock方法手动解锁 rLock.lock(5, TimeUnit.SECONDS); // 尝试加锁，最多等5秒，上锁以后10秒自动解锁 rLock.tryLock(5,10,TimeUnit.SECONDS);...

2020-08-09 21:38:16 331

原创通过隧道连接远程jar包，进行断点调试

这种情况会阻塞生产代码，也就是你在断点调式某个接口的时候，这个接口将不会被成功访问，也会断点到你所断点的地方通过这个方法，也验证了一个问题，就是一个普通的SpringBoot项目，发布后，被用户访问，实质上是多线程的，即使你的项目里没有使用多线程，但他的运行机制也是多线程的。...

2020-08-01 17:27:09 380

原创什么是缓存穿透、缓存击穿、缓存雪崩呢?

对于使用分布式缓存实现大数据的存储，可能会遇到缓存穿透、缓存击穿、缓存雪崩等问题，这些是什么呢，该如何解决呢缓存穿透缓存穿透是指大量查询没有命中缓存，直接去到数据库中查询，如果查询量比较大，会导致数据库的查询流量大，对数据库造成压力。解决1、缓存空值将第一次查询的空值缓存起来，同时设置一个比较短的过期时间2、使用布隆过滤算法（BloomFilter）用于检查一个元素是否存在，返回结果有两种：可能存在或一定不存在缓存击穿缓存击穿是指在高并发情况下，同时查询一个key时，

2020-07-26 21:09:52 414

原创【SpringCloudAlibaba】怎么使用Sentinel实现流量控制、降级以及热点控制呢

上一篇博客了解了Sentinel是什么，也知道了怎么安装它的控制台。准备工作做好了，那么它该怎么使用呢，它如何和SpringCloud结合使用，实际代码该怎么使用呢？我这里新建了一个项目（sentinel-demo）来做测试，实现，在实际运用中，应该是对应到相应的接口上就好了共同准备1、启动sentinel的控制台这次我指定了端口号java -jar sentinel-dashboard-1.6.3.jar --server.port=86182、引入依赖<dependencies&g

2020-07-19 21:20:44 367

原创【多线程】线程池里边都有些什么东西呢

使⽤线程池的原因：1、降低资源消耗创建/销毁线程需要消耗系统资源，线程池可以复⽤已创建的线程。2、控制并发的数量。并发数量过多，可能会导致资源消耗过多，从⽽造成服务器崩溃。（主要原因）3、可以对线程做统⼀管理。线程池的类ThreadPoolExecutor线程池顶层接⼝是 Executor 接⼝， ThreadPoolExecutor 是这个接⼝的实现类类ThreadPoolExecutor 的构造函数中参数1、int corePoolSize：该线程池中核⼼线程数最⼤值核⼼线程默认情况

2020-07-13 10:30:00 548

原创【多线程】常常听到的CAS是什么呢，有什么作用呢

CAS，全称是Compare And Swap，是比较并交换的意思CAS是⼀种原⼦操作，它是⼀种系统原语，是⼀条CPU的原⼦指令，从CPU层⾯保证它的原⼦性1、CAS的过程V：要更新的变量(var)E：预期值(expected)——本质上指的是“旧值”N：新值(new)判断V是否等于E，如果等于，将V的值设置为N；如果不等，说明已经有其它线程更新了V，则当前线程放弃更新，什么都不做。当多个线程同时使⽤CAS操作⼀个变量时，只有⼀个会胜出，并成功更新，其余均会失败，但失败的线程并不会被挂起，仅是

2020-07-11 11:27:18 1869 1

原创【多线程】线程获取共享资源时的无锁、偏向锁、轻量级锁、重量级锁，以及它们是如何升级的呢？

锁一共有4种状态，级别从低到高依次是：无锁状态、偏向锁状态、轻量级锁状态和重量级锁状态，这几个状态会随着竞争情况逐渐升级。锁可以升级也可以降级，不过降级的条件特别苛刻，当JVM进入安全点（SafePoint）的时候，会检查是否有闲置的Monitor，然后试图进行降级。1、⽆锁状态⽆锁就是没有对资源进⾏锁定，任何线程都可以尝试去修改它2、偏向锁状态偏向锁会偏向于第⼀个访问锁的线程，如果在接下来的运⾏过程中，该锁没有被其他的线程访问，则持有偏向锁的线程将永远不需要触发同步。偏向锁在资源⽆竞争情况

2020-07-05 08:44:40 367

原创【多线程】结合例子理解happens-before含义以及其规则

Happens-Before 并不是说前面一个操作发生在后续操作的前面，它真正要表达的是：前面一个操作的结果对后续操作是可见的。一、理解happens-before1、如果⼀个操作happens-before另⼀个操作，那么第⼀个操作的执⾏结果将对第⼆个操作可⻅，⽽且第⼀个操作的执⾏顺序排在第⼆个操作之前。2、两个操作之间存在happens-before关系，并不意味着Java平台的具体实现必须要按照happens-before关系指定的顺序来执⾏。如果重排序之后的执⾏结果，与按happens-b

2020-06-28 10:42:10 598

原创【多线程】Java中的volatile到底起着什么样的作用呢

1、可见性指的是一个线程修改一个共享变量时，另一个线程可以读到这个修改的值。是指线程之间的可见性，一个线程修改的状态对另一个线程是可见的每个线程在执行的时候，会从主内存中拷贝一份到自己的本地内存对一个volatile变量的读，总是能看到（任意线程）对这个volatile变量最后的写入。2、不可重排序JVM通过内存屏障来实现限制处理器的重排序内存屏障分两种：读屏障（Load Barrier）和写屏障（Store Barrier）内存屏障有两个作⽤：（1）阻⽌屏障两侧的指令重排序；（2）强

2020-06-27 21:28:42 619

原创【多线程】Java线程间是如何通信的呢？

一、同步 synchronized共享内存机制线程同步是线程之间按照⼀定的顺序执⾏，可以使⽤锁来实现达到线程同步，也就是在需要同步的代码块里加上关键字synchronized 。二、信号量共享内存机制基于 volatile 关键字来实现的volitile关键字能够保证内存的可⻅性，如果⽤volitile关键字声明了⼀个变量，在⼀个线程⾥⾯改变了这个变量的值，那其它线程是⽴⻢可⻅更改后的值的。三、等待/通知机制（wait/notify）基于Object 类的 wait() ⽅法和 notify

2020-06-24 21:33:59 1985

原创【Redis】Redis是什么，又能用来做什么呢

Redis是完全开源免费的，用C语言编写的，遵守BSD协议，是一个高性能的(key/value)分布式内存数据库，基于内存运行并支持持久化的NoSQL数据库，是当前最热门的NoSql数据库之一,也被人们称为数据结构服务器。Redis特点1、速度快读的数据是110000次/s左右，写的速度是81000次/s左右（1）数据存在内存中（2）C语言实现，离操作系统近，执行速度快（3）单线程架构，预防了多线程可能产生的竞争问题（4）源代码集性能与优雅于一身2、丰富的数据类型基于键值对，值不仅可以是字

2020-06-20 20:16:33 409

原创【Redis】Redis如何搭建与启动，以及如何设置开机自启

redis一般都是装在Linux系统上的，虽然后期有人在这个基础上开发了再Windows上使用的redis，但如果项目上使用，最好还是将redis装在Linux比较好，因为redis本身就是支持在Linux上的。首先要下载redis安装包我这里是在Linux上安装的，用的包是redis-4.0.9.tar.gz下载地址：https://download.csdn.net/download/cxh6863/125382871、安装gcc由于redis需要c的环境，所以在安装redis之前要先安装.

2020-06-20 15:53:14 1130

原创 SpringBoot如何实现导出Excel表格

我们查到的数据是list，如何将这些数据导出到Excel表格中呢我这里查到的list数据是 List monthReportModels一、导入依赖<dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.6</version></dependency>二、生.

2020-06-07 17:30:40 9396 7

原创【SpringCloud】配置中心config动态刷新配置文件—更改数据库却没有得到实时变化怎么办

在上一篇博客中，已经很容易的获取到了配置文件的变化，只要配置文件发生变化，只要用POST方式访问下/actuator/bus-refresh，就刷新到改变了的新属性值。可是有一个地方比较特别，就是如果你改的是数据库，却丝毫没有效果，别的属性明明已经得到了改变，说明动态刷新配置文件是成功了的，那为什么偏偏只有关于数据库的并没有变化呢，明明已经换了数据库，值有所变化才对，但却还读的是改动之前的数据库。一开始的我，还以为是动态刷新配置文件没有实现呢，后来多次测试发现，动态刷新配置文件是成功的，自定义的配置属性ip

2020-05-31 16:35:04 5612 4

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

redis安装包.zip

analysis-ik.zip

SpringCloud整合配置中心.zip

Dubbo与SpringBoot的整合.zip

SpringCloud与五大组件的整合.zip

eureka实践源码.zip

dubbo-admin-2.5.10.war

空空如也