- 博客(127)
- 收藏
- 关注
RSS订阅原创 flink1.13(一)
Apache Flink 是一个框架和分布式处理引擎, 用于对无界和有界数据流进行状态计算. Flink框架处理流程如下图所示:Flink的应用场景:核心特点:事件驱动型应用事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以 Kafka 为代表的消息队列几乎都是事件驱动型应用。这其实跟传统事务处理本质上是一样的，区别在于基于有状态流处理的事件驱动应用，不再需要查询远程数据库，而是在本地访问它们的数据，这样在吞吐
2022-11-21 09:03:36
1986
1
原创 Flowable工作流-基础
一、Flowable介绍二、Flowable基础官方手册：https://tkjohn.github.io/flowable-userguide/#_introduction1.创建ProcessEngine<dependency> <groupId>org.flowable</groupId> <artifactId>flowable-engine</artifactId> <version>6.3
2022-04-29 09:10:57
1681
原创 docker安装gitlab和jenkins-blueocean
docker pull gitlab/gitlab-cedocker run -itd -p 9980:9980 -p 9922:22 \-v /data/gitlab-test/etc:/etc/gitlab \-v /data/gitlab-test/log:/var/log/gitlab \-v /data/gitlab-test/opt:/var/opt/gitlab \--restart always --privileged=true \--name gitlab-test gitl
2022-04-28 09:31:19
1041
原创 Harbor集成nginx配置公网域名
这篇文章写的非常好, 在这里记录一下https://www.cnblogs.com/zhangmingcheng/p/14167615.html
2021-09-01 14:23:33
364
原创 SpringBoot自定义校验注解校验日期时间格式字符串
先定义一个注解@Target({ElementType.FIELD, ElementType.PARAMETER})@Retention(RetentionPolicy.RUNTIME)@Constraint(validatedBy = DateTimeStrValidator.class)public @interface DateTimeStr { String message() default "format incorrect"; String format().
2021-08-05 14:02:39
3784
原创 异常处理No bean named ‘ConfigurationClassPostProcessor.importRegistry‘ available
SpringBoot + MybatisPlus环境启动报错No bean named ‘ConfigurationClassPostProcessor.importRegistry’ available这是因为我使用了MybatisPlus的Mapper后没加@Mapper注解和启动类没加@MapperScan注解导致的, 如果其他人遇到了这个问题可以从这方面来找, 或者还有可能是数据库连接信息没配置完全的原因...
2021-07-19 15:49:35
1627
原创 hive不能删除库或者删除表(锁表问题)
我的问题是hive用客户端连接后, 写入select count(*) 或者drop table 或者drop database都不会触发mr任务, 只是卡在sql的位置上网找了很多,发现是hive对要操作的表加锁了. 连接hive客户端后使用show locks 可以看见哪里加了锁然后使用先use 被锁的表所在的库后, 执行unlock table 表名 尝试解锁表, 发现报错Current transaction manager does not support explicit lock req
2021-06-18 13:30:18
1094
原创 SpringBoot项目打成war包放入tomcat中运行
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0..
2021-03-10 14:42:17
123
原创 大数据框架Hadoop(MapReduce)
1. MapReduce概述1.1 MapReduce定义1.2 MapReduce优缺点1.2.1 优点1.2.2 缺点1.3 MapReduce核心思想1.4 MapReduce进程1.5 官方WordCount源码1.6 常用数据序列化类型1.7 MapReduce编程规范1.8 WordCount案例实操hello.txt如下atguigu atguiguss sscls clsjiaobanzhangxuehadoop创建
2021-03-08 09:08:52
211
原创 Idea中的代码模板
Idea中代码模板所处的位置 : settings - Editor - Live templates(可以自定义, 可以修改)/Postfix Completion(不可以自定义和修改)常用的模板//模板1: psvmpsvm 生成main方法//模板2: soutsout 输出语句soutp/soutm/soutv/xxx.soutsoutp 输出当前sout所在方法的形参soutm 输出当前sout所在方法的名字soutv 输出当前sout之前一个变量的名字和值xxx.so.
2021-03-03 12:55:36
376
原创 大数据框架Hadoop(HDFS)
1. HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）2. HDFS的Shell操作（开发重点）2.1 命令大全命令大全[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src>
2021-02-20 13:17:42
143
原创 大数据框架Hadoop入门
1. 大数据概论1.1 大数据概念1.2 大数据特点(4V)1.3 大数据应用场景1.4 大数据部门业务流程分析1.5 大数据部门组织结构(重点)2. 从Hadoop框架讨论大数据生态2.1 Hadoop是什么2.2 Hadoop发展历史2.3 Hadoop三大发型版本2.4 Hadoop的优势(4高)2.5 Hadoop组成(面试重点)Hadoop1.X和Hadoop2.X的区别2.5.1 HDFS架构概述2.5.2 YARN
2021-02-07 12:09:35
291
原创 正则表达式
正则表达式语法字符说明\将下一字符标记为特殊字符、文本、反向引用或八进制转义符。例如，“n"匹配字符"n”。"\n"匹配换行符。序列"\\“匹配”"，"\(“匹配”("。^匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性，^ 还会与"\n"或"\r"之后的位置匹配。$匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multili
2021-02-05 09:40:05
311
原创 大数据Shell编程
1. Shell概述2. Shell解析器shell脚本一般是以.sh后缀结尾的3. Shell脚本入门3.1 执行方式3.2 多命令组成4. Shell中的变量4.1 系统变量4.2 自定义变量4.3 特殊变量: $n4.4 特殊变量: $#4.5 特殊变量: $*、$@4.6 特殊变量: $?5. 运算符使用expr进行运算 如果要先算一个式子, 再根据这个式子来算其他式子, 需要加飘号6. 条件判断6.1 常用条件判断判
2021-02-01 14:29:54
120
原创 MySQL核心知识点
1. 为什么要学习数据库持久化数据到本地可以实现结构化查询, 方便管理, 有较成熟的第三方管理页面, 易于操作2. 数据库的相关概念3. 数据库存储数据的特点4. 初始MySQL安装与使用4.1 mysql安装4.2 mysql配置文件改完后重启数据库服务4.3 mysql服务的启动和停止或者以管理员方式启动命令窗口net start 服务名 – 启动服务net stop 服务名 – 停止服务4.4 mysql的登录退出如果要把密码
2021-01-15 13:19:51
229
原创 Java9,10,11的新特性
jdk91. 目录结构改变2. 模块化系统使用junit也必须要先在module-info.java下先requires一下3. jshell命令/vars列出所有变量/methods列出所有定义的方法/list列出到目前为止[定义的]数据的列表/edit调出编辑框jshell中再次定义一个变量是可以的, 比如之前已经定义了int m =10;相当于一个覆盖没有受检异常是指, 没有编译时异常throws xxException或tryCatch
2020-12-16 13:12:16
577
原创 监控tomcat是否启动若停了重新启动的脚本
shell脚本#!/bin/bash# 监控tomcat-dxj是否正在运行, 如果没有运行, 重新启动它pid=`ps -ef |grep tomcat |grep /opt/tomcat-dxj |grep -v 'grep'|awk '{print $2}'`datetime=`date '+%Y-%m-%d %H:%M:%S'`if [ ! "$pid" ]; then export JRE_HOME=/opt/JDK/jre echo "$da.
2020-12-11 11:51:41
192
原创 jdk8新特性
接口中的默认方法与静态方法默认方法与静态方法使用概述https://www.runoob.com/java/java8-default-methods.html常用类中的日期相关API注解中的类型注解与重复注解集合在jdk8底层有一些变化jdk8以前,实在new对象时就把底层数组造好了, jdk8的时候new对象的时候不造, 等到第一次添加数据的时候再造出数组HashMap在jdk8时候应用了红黑树Lambda表达式函数式(Functional)接口方法引用与构造器引用强...
2020-12-10 12:53:41
187
原创 按天分割tomcat的catalina.out日志重启tomcat脚本
下载分割日志小工具cronolog yum install cronolog查看安装目录whereis cronolog 显示进入tomcat的bin目录, 修改catalina.sh文件, 找到tomcat启动的相关行修改org.apache.catalina.startup.Bootstrap “$@” start \ >> “$CATALINA_BASE”/logs/catalina.out 2>&1 & 为 org.apache.catal.
2020-12-09 16:01:22
224
原创 Tomcat内存调节
在tomcat的bin目录下vim catalina.sh在第一行加入JAVA_OPTS="-server -Xms1024m -Xmx1024m -XX:PermSize=1024m -XX:MaxPermSize=1024m"
2020-12-09 09:07:46
110
原创 CentOS安装ffmpeg工具
1.安装Nux Dextop Yum 源CentOS直接yum安装的话 官方是没有FFmpeg rpm软件包的。我们可以使用第三方YUM源（Nux Dextop）完成此工作。配置NuxDextop源CentOS 7sudo rpm --import http://li.nux.ro/download/nux/RPM-GPG-KEY-nux.rosudo rpm -Uvh http://li.nux.ro/download/nux/dextop/el7/x86_64/nux-dextop-rel
2020-12-04 16:14:57
329
原创 谷粒商城基础篇(前端篇)
VSCode的使用在空白html页面输入!按回车会自动生成一段html代码alt + shift + f 格式化代码ES61. let声明变量<script> //var 声明变量往往会越域 //let 声明的变量有严格的作用域 { var a = 1; let b = 2; } console.log(a); //1 cons..
2020-11-19 21:27:08
2215
原创 谷粒商城基础篇(后台环境篇)
1. 项目简介1.1 项目背景1.2 微服务架构图1.3 微服务划分图1.4 项目技术&特色2. 微服务基础概念2.1 微服务2.2 集群&分布式&节点2.3 远程调用2.4 负载均衡2.5 服务注册/发现&注册中心2.6 配置中心2.7 服务熔断&服务降级2.8 API网关3. 环境搭建3.1 安装虚拟机VirtualBox推荐使用Vagrant快速搭建虚拟机, 这样就不需要去网上下载镜像并安装等
2020-11-17 19:58:06
656
2
原创 VMware设置CentOS7系统磁盘扩容
VMware虚拟机设置CentOS 7磁盘扩容虚拟机扩展磁盘容量首先，打开已经安装好的虚拟机，选择需要扩展磁盘的虚拟机，点击设备中的“硬盘”。接着，进入虚拟机设置界面，在界面的右侧选择“扩展”(关机状态下才能点击扩展)。如图：接着，在弹出的扩展磁盘容量中，输入需要扩展磁盘的大小，完成后点击“扩展”。如图：接着，等待系统自动扩展完成，在弹出的对话框中选择“确定”，这样虚拟机的磁盘就扩展完成了。如图：接着，回到虚拟机设置界面，点击下方的“确定”保存刚设置的参数。如图：这样，虚拟机扩展磁盘
2020-11-11 09:52:28
10252
23
原创 反射机制与动态代理
反射机制概述Class是描述类的类 (对象可以由类来描述, 类可以由Class类来描述)理解Class类并获取Class实例类的加载与ClassLoader的理解创建运行时类的对象获取运行时类的完整结构调用运行时类的指定结构反射的应用: 动态代理...
2020-10-28 11:28:08
138
原创 网络编程
网络编程概述网络通信要素概述一. 网络编程中有两个主要的问题如何准确地定位网络上一台或多台主机, 定位主机上的特定的应用找到主机后如何可靠高效的进行数据传输二. 网络编程中的两个要素对应问题一: IP和端口号提供网络通信协议(TCP/IP参考模型,分成4层,应用层, 传输层, 网络层, 物理+数据链路层)三. 通信要素1: IP和端口号IP: 唯一的标识Internet上的计算机(通信实体)在Java中使用InetAddress类代表IPIP分类: IPv4 和 IP
2020-10-20 17:01:18
47
原创 File与IO流
File类的使用File类中涉及到关于文件或文件目录的创建, 删除, 重命名, 修改时间, 文件大小, 获取子文件等方法. 但是并未设置到写入或读取文件内容的操作, 如果需要读取或写入文件内容, 必须使用IO流来完成后续File类的对象常会作为参数传递到流的构造器中, 指明读取或写入的"终点"File常见构造器路径分隔符File类常用方法IO流原理及流的分类节点流(或文件流)缓冲流转换流标准输入, 输出流打印流数据流对象流随机存取文件流NIO.2中Path, P
2020-10-15 15:12:44
194
原创 使用Logstash-input-jdbc同步mysql中的数据到es中
准备好es kibana logstash 保证同一版本并可以正常启动logstash 5.x.x版本以上可以直接使用logstash-input-jdbc插件, 不用安装ruby等环境同步方式可选全量或增量方式, 全量方式每次全部同步, 不太妥当, 我们选择使用增量方式, 增量方式第一次启动时也可以进行全部同步, 后面会说具体配置Logstash目录结构如下所示, 我们创建一个文件夹mysql用来存放mysql同步所需要的配置等文件logstash使用jdbc也需要引入jdbc的jar包, .
2020-10-13 14:46:03
350
原创 Redis
NoSql入门和概述入门概述1.互联网时代背景下大机遇, 为什么用nosql单机MySQL的美好年代Memcached(缓存)+MYSQL+垂直拆分MySQL主从读写分离写的操作放在主库, 读的操作放在从库分表分库+水平拆分+mysql集群MySQL的扩展性瓶颈今天是什么样子为什么用NoSQL2.是什么3.能干嘛易扩展大数据量高性能redis: 一秒读11万写8万多样灵活的数据模型传统RDBMS VS NOSQL4.去哪下5.怎么玩KV:
2020-10-12 09:17:11
301
原创 ELK(十)ELK其他组件FileBeat MetricBeat Kibana Logstash
1. Nginx日志分析系统1.1 项目需求 Nginx是一款非常优秀的Web服务器, 往往Nginx服务会作为项目的访问入口, 那么, Nginx的性能保障就变得非常重要了, 如果Nginx的运行出现了问题就会对项目有较大的影响, 所以, 我们需要对Nginx的运行有监控措施, 实时掌握Nginx的运行情况, 那就需要手机Nginx的运行指标和分析Nginx 的运行日志了1.2 业务流程2. 部署安装Nginxtar -xvf nginx-1.11.6.tar.gzyum -y insta
2020-10-12 09:16:33
283
2
原创 ELK(九)ElasticSearch的Java客户端
在Elasticsearch中, 为java提供了2种客户端, 一种是rest风格的客户端, 另一种是Java API的客户端https://www.elastic.co/guide/en/elasticsearch/client/index.htmlREST客户端Elasticsearch提供了2中REST客户端, 一种是低级客户端, 一种是高级客户端Java Low Level REST Client: 官方提供的低级客户端, 该客户端通过http来连接Elasticsearch集群. 用户在
2020-09-23 16:00:33
186
原创 ELK(八)ElasticSearch集群
集群节点ElasticSearch集群是由多个节点组成的,通过cluster.name设置集群名称,并且用于区分其他的集群,每个节点通过node.name指定节点的名称在ElasticSearch中,节点的类型主要有4种master节点配置文件中node,master属性为true,就有资格被选为master节点master节点用于控制整个集群的操作,比如创建或删除索引,管理其他非m...
2020-09-23 15:07:56
237
原创 Etcd使用入门
Etcd使用入门Etcd集群部署安装下载最新的Etcd二进制安装包# mkdir /tmp/etcd# cd /tmp/etcd# curl -s https://api.github.com/repos/etcd-io/etcd/releases/latest \ | grep browser_download_url \ | grep linux-amd64 \ | cut -d '"' -f 4 \ | wget -qi -例如：etcd-v3.3.25-linux-amd64.tar.
2020-09-23 09:54:37
581
原创 mesos-slave连接不上mesos-master如何查看问题
登录进出现问题的服务器上, 使用systemctl restart mesos-slave重启服务如果启动失败, 使用journalctl -u mesos-slave -f -n 300查看错误日志如果错误日志中包含就清除rm -rf /var/lib/mesos/meta/*下的文件, 重启mesos-slave即可如果错误日志中包含 docker 连接失败或者其他, 请检查docker 服务是否正常启动...
2020-09-02 12:36:32
367
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人