- 博客(14)
- 收藏
- 关注
RSS订阅原创 Flume的三种基本采集方式（三）
一、Syslog方式Flume提供了Syslog的方式，通过TCP/UDP通信协议直接对某台主机上的某个端口进行监听，实现了采集端主动采集端口日志的功能，提高了可靠性。Syslog可以通过Syslog协议读取系统日志,协议分为TCP和UDP两种，使用时需指定IP地址和端口。这里以监听本机的5140端口为例。进入 Flume的conf目录，创建名称为 syslogtcp.conf的配置文件，配置信息如下# 组件命名agent1.sources = r1agent1.channels = c1
2021-07-26 18:29:59
1996
原创 Flume安装部署（二）
安装Flume前我们需要确保已安装Java环境拷贝安装包，我这里给出了flume1.9版本的包，需要自取链接：apache-flume-1.9.0-bin.tar提取码：tjri1.创建目录mkdir -p /home/software/flume/2.解压flume安装包到指定目录tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /home/software/flume解压成功3.进入Flume中看一下它的文件bin目录下存放的是Flume
2021-07-08 18:13:38
196
原创 Flume详解（一）
一、Flume介绍Flume Apache Flume是一个分布式，高可用可靠的服务，能够高效的收集并聚合大量日志数据，它基于流式数据流的结构，能够将数据写入多种数据接收方。二、几个重要概念1.Event事件是Flume数据传输的基本数据单位，它携带着数据信息。2.AgentFlume包含一个或者多个Agent，可以把Agent当做一个独立的进程，它的主要作用就是从客户端接收数据，并将数据传给下一个目标节点。3.SourceSource是Agent中的一员，它主要用来从数据发生方接收数据，并
2021-07-06 18:40:16
759
原创 Elasticsearch总结二（数据的基本操作）
1 索引这里索引的含义不是我们关系型数据库中的那种索引，而是看成elasticsearch存储数据的地方。就像是数据库中的表，所以它的下面还有更小的结构作为存储数据的准确位置，每个索引可以有一个或多个分片数。elasticsearch提供了非结构化索引，我们不需要创建索引结构就更将数据写入到索引中，但实际上在Elasticsearch底层会进行结构化操作。我们接下来所有的测试都使用postman来进行操作，需要传递json对象作为参数，如果没有postman，其他类似测试工具也可以1.1 创建索引n
2021-03-10 18:24:17
254
原创 Elasticsearch总结一（介绍与安装测试）
Elasticsearch介绍1.Elasticsearch是用Java开发的一个基于Lucene的搜索服务器，并作为Apache许可条款下的开放源码发布，是当前企业级搜索引擎中较受欢迎的一个。它提供了一个分布式多用户能力的全文搜索引擎，基于restful web接口。主要特点有分布式，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。2.在一个网站系统或应用程序中,搜索是必不可少的功能。同时我们还希望实现这个功能的过程简单又希望在使用时既简单又能达到非常好的效果。
2021-03-04 18:37:49
403
1
原创 linux删除centos自带的Java环境
在/etc/profile配置了自己的Java环境后 java -version发现并不是我们配置的Java环境例如我的环境变量是export JAVA_HOME=/home/software/jdk1.8.0_121export PATH=PATH:PATH:PATH:JAVA_HOME/binjava -version后发现是 java version “1.7.0”解决方法：1.先查看自带Javarpm -qa | grep jdk2.删除自带Javarpm -e --nodeps
2021-03-03 18:18:19
595
原创 Linux环境下安装Nginx报错
首先说正确的安装流程为1.解压tar -xvf nginx-1.11.6.tar.gz2.安装依赖库yum -y install pcre-devel zlib-devel3.设置配置./configure4.编译make5.安装make install6.启动cd /usr/local/nginx/sbin/./nginx安装过程中通常会在第二步和第三步时报错。先来看第三步 ./configure 时报错./configure: error: the HTTP rewrite
2021-02-23 18:31:50
442
原创 解决文件上传时文件过大问题
从页面上传文件过大，页面报错 413 request Entity too Large，这个错误主要是因为请求长度超过了 Nginx默认的客户端最大请求大小。Nginx的 client_max_body_size 默认大小为1m，因为是默认所以在它的配置文件里是没写这个属性的，于是我们要增加这个属性并赋值，client_max_body_size 20m；最大请求大小改为20M，在 nginx.conf配置文件中按如下形式增加Nginx还有几个配置是：client_body_buffer_size
2021-02-04 11:38:06
3072
原创 Java实现定时任务调度之Quartz篇
一、了解QuartzQuartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目，Quartz 是一个完全由 Java 编写的开源作业调度框架，为在 Java 应用程序中进行作业调度提供了简单却强大的机制，可以与 J2EE与 J2SE应用程序相结合使用也可以单独使用。其允许程序开发人员根据时间的间隔来调度作业。Quartz 实现了作业和触发器的多对多的关系，还能把多个作业与不同的触发器关联。Quartz 的几个核心概念：1.Job 表示一个工作，要执行的具体内容。此
2021-01-27 14:26:03
1309
原创 Java实现定时任务的三种方法
**一、** 先说一种Java自带的java.util包里的计时器Timer类，线程调度任务以供将来在后台线程中执行的功能。任务可以安排一次执行，或定期重复执行。在进行Timer对象的新建时，Timer提供了多种有参构造和无参构造，主要区别就是是否将该线程定义为守护线程，守护线程即为随着主线程停止销毁而该线程停止销毁，无参构造默认定义为非守护线程，也就是说即使程序执行完成，该线程仍存在Timer是调度器，用来调用TimerTask调度任务。Timer的方法有以下下面的代码使用了Timer来计时，并.
2021-01-26 15:40:28
1398
原创 Java实现文件的上传下载
用这篇文章来介绍一种Java文件上传和下载的方法。可以将上传的文件保存到本地磁盘或者服务器，同时，可再从此路径将文件下载，前面不过多介绍了，一些解释都在代码注释里。/** * 上传 * @param file file * @param taskId taskId * @return String */ public String fileUpload(MultipartFile file, String taskId) { Lo
2021-01-22 14:18:24
586
原创 拦截器实现权限控制器以及防止重复提交的幂等性校验
权限控制拦截器：顾名思义是做权限管理，例如，一个系统实现了10个功能，前5个功能只有管理员用户可使用，而不允许普通用户使用，这时就需要做权限的判断。当然，做权限控制的方法有很多，比如常见的现成框架spring security，shiro等等，但是在这里暂时先介绍一下单纯的使用拦截器做权限判断。上一篇写了登录拦截器，并比较详细的介绍了拦截器的写法，所以在这篇就不再赘述了。在我的项目里用户权限的体现就是用户表中的一个用户类型字段，对应着实体类中的userType属性。上一篇文章里介绍了我把userId，u
2020-07-06 10:34:00
566
10
原创 拦截器+Redis实现Token用户信息登录校验
登录拦截器：在这里介绍的登录拦截器主要有两个功能作用，禁止未登录或登录信息失效状态下对系统进行操作，同时实现用户登录信息的过期机制。我们通常会将用户信息保存在session或cookie中，而对于session来讲设置它的过期时间相对不太灵活，cookie又允许被禁用，所以我选择将用户信息加密成token存在请求头中。对于我的项目来说，后端所有接口中只会用到当前用户的userId，userName和用户类型userType。所以在登陆时我将这三个信息拼接并解密成token传给前端，同时将此token存入
2020-07-03 17:00:40
2982
原创 PageHelper分页失效与数据不完整问题的解决
PageHelper分页失效与数据不完整第一篇文章打算写一下pageHelper，因为在最近的一个项目里使用pageHelper进行分页时遇到了一系列的问题，害得我再分页的问题上花了近两天的时间处理。pageHelper是国内非常优秀的一款开源的mybatis分页插件，在这就不介绍原理了，直奔问题。首先，不要忘记加上依赖，其次不要忘记进行配置
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人