打杂员工的博客

原创 Docker安装gitlab-runner并注册使用

1、基础环境docker环境、gitlab2、gitlab-runner安装下载：root@ubuntu1604:~# docker pull gitlab/gitlab-runner运行：root@ubuntu1604:~# docker run -d --name gitlab-runner -v /var/run/docker.sock:/var/run/docker.sock --restart always gitlab/gitlab-runnerea6d71b9e

原创 基于Docker的MySQL主从复制搭建

1、安装docker环境2、下拉MySQL镜像docker pull mysql:5.7.263、启动MySQL容器docker run -p 13306:3306 --name master-mysql -v /usr/local/workspace/master-mysql/conf:/etc/mysql -v /usr/local/workspace/master-mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d

原创 JDK11新特性

import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.net.http.HttpClient;import java.net.http.HttpRequest;import java.net.http.HttpResponse;import java.nio.charset.StandardCharsets;impor...

原创 SpringBoot2.4.2+Vue集成Activiti6流程引擎

一、背景最近因为项目需求，我们需要引入一个流程引擎框架。基于以前做办公系统的经验，我就选择了activiti流程引擎，不过版本已经更新了好几个了，集成方式也变了。于是我开始找资料，大多都是后端集成的方式，包括前端代码也喜欢放在后端resources中，我感觉这种方式很不友好。况且，目前都采用前后端分离的方式，前端框架也比较成熟和流行，我们还把html放在后端，从前端、后端、部署三个层面都显的很鸡肋，后面零零散散找了一些资料，踩了很多坑，奋斗了几个晚上，终于集成完毕。因此写个博客记录一下。二、前端集成

原创 Linux部署Tcloud云测平台(源码部署)

1、基础环境准备Centos7、python3.8.6、nginx1.8.8、node14.3.02、安装python2.1、安装依赖yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-develyum install gccyum install libff

原创 Linux部署Tcloud云测平台(Docker部署)

1、搭建Docker环境Docker安装不再赘述，本次安装的版本是：[root@localhost deploy]# docker --versionDocker version 20.10.2, build 2291f61Docker-compose安装也不再赘述，本次安装版本如下：[root@localhost deploy]# docker-compose --versiondocker-compose version 1.27.4, build 405241922、部署项

原创 JVM垃圾回收机制

1、概述垃圾回收（Garbage Collection，GC）一直是Java开发在面试时常被问及的问题，部分同学在实际开发中可能会在项目中设计调优，但一般都是网上找找资料，一遍一遍的试，并没有真正理解什么是垃圾回收。了解垃圾回收的机制，更有利于我们日常的开发工作。垃圾回收，顾名思义就是释放垃圾占用的空间，防止内存泄露。有效的使用可以使用的内存，对内存堆中已经死亡的或者长时间没有使用的对象进行清除和回收。2、垃圾判定2.1、引用计数法为每个对象增加一个计数器，当该对象被引用时，计数器加一，当引

原创 Linux部署Gosec代码安全审查工具

1、安装go环境[root@localhost home]# wget https://golang.google.cn/dl/go1.15.5.linux-amd64.tar.gz--2021-01-11 17:34:59-- https://golang.google.cn/dl/go1.15.5.linux-amd64.tar.gz正在解析主机 golang.google.cn (golang.google.cn)... 220.181.174.162正在连接 golang.google

原创 Docker部署SonarQube

1、服务端部署[root@localhost home]# docker pull sonarqube:8.6-community8.6-community: Pulling from library/sonarqube0a6724ff3fcd: Pull completeeb833291b55c: Pull complete2a91bfbe66cb: Pull completedb9c21026d71: Pull completeddac7b0d6339: Pull comple...

原创 Linux 正在尝试其他镜像

发生情景：在windows7系统，安装了虚拟机Oracle VM VirtualBox，使用的CentOS7，在使用yum的使用，一直提醒"正在尝试其他镜像"。解决方法：在网上找方法，大部分都是说，提醒那个错误，是因为网速慢，需要配置yum源，改为国内的就可以了，（1）备份原有的镜像文件：mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak（2）下载阿里云的镜像wget .

原创 Trivy容器漏洞扫描

1、下载安装打开文件/etc/yum.repos.d/trivy.repo，添加以下内容：[trivy]name=Trivy repositorybaseurl=https://aquasecurity.github.io/trivy-repo/rpm/releases/$releasever/$basearch/gpgcheck=0enabled=1执行安装命令[root@localhost /]# yum -y install trivy已加载插件：fastestmirro

原创 Lynis审计Centos7系统

1、下载安装打开/etc/yum.repos.d/cisofy-lynis.repo 文件，增加以下内容。[lynis]name=CISOfy Software - Lynis packagebaseurl=https://packages.cisofy.com/community/lynis/rpm/enabled=1gpgkey=https://packages.cisofy.com/keys/cisofy-software-rpms-public.keygpgcheck=1pri

原创 Python3教程

1、Python3简介解释型语言：不需要编译，解释器执行。交互式语言：命令行直接执行代码。面向对象语言：支持面向对象的风格，可以将代码封装在对象中。2、基础语法标识符：由字母、数字和下划线组成，第一个字符为字母或下划线，大小写敏感。注释：单行注释使用#，多行注释使用'''或者"""。多行语句：多行语句使用\连接。3、基本数据类型...

转载 服务端高并发分布式架构演进之路

1、概述本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。2、基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍。1）什么是分布式？系统中的多个模块在不同服务器上部署，即可称为分布式系统，如Tomcat和数据库分别部署在不同的服务器上，或两个相同功能的Tomcat分别部署在不同服务器上。2）什么是高可

原创 Nginx配置referer校验，实现简单的防盗链

1、Nginx Referer模块nginx模块ngx_http_referer_module通常用于阻挡来源非法的域名请求。当一个请求头的Referer字段中包含一些非正确的字段，这个模块可以禁止这个请求访问站点。构造Referer的请求很容易实现，所以使用这个模块并不能100%的阻止这些请求。2、valid_referers 指令语法: valid_referers none | blocked | server_names | string … ;配置段: server, locati

原创 VMware15Pro安装Kali-Linux-2020.3

1、安装VM15准备一台电脑，安装VMware152、下载KaliLinux1、登录官网https://www.kali.org/downloads/2、点击Download KaliLinux，选择合适的版本下载。3、安装1、

原创 AppScan v10.0.0安装与使用

1、下载与安装1.1、下载百度网盘：https://pan.baidu.com/s/1XMTurqJTvFk41obkZaFEUg提取码：qm4b1.2、安装1、解压安装包，双击AppScan_Setup_10.0.0.exe运行，默认下一步安装完成即可。2、将rcl_rational.dll和AppScanStandard.txt复制到安装路径下，覆盖原来的文件。3、双击桌面快捷方式，打开软件，点击帮助-许可证-切换到IBM许可证。4、选择打开Appscan Li..

原创 OWASP ZAP 2.9.0 安装及使用

1、下载与安装1.1、下载百度网盘：https://pan.baidu.com/s/1-PySFuJJMlKzoCz5eCkIcg提取码：in8m1.2、安装zap为免费开源的渗透测试工具，无需破解，双击运行，默认下一步即可。2、使用1、打开应用双击桌面上的快捷方式打开即可。如果提示未安装JDK，找到安装目录，双击zap.bat也可以。启动之后，默认创建一个新会话，会有三个选项。我们在学习过程中可以选择不保存这个会话。在正式的渗透测试中，需要保存这个会话到磁盘中。..

原创 Burp Suite Professional v1.6安装与使用

1、下载与安装1.1、下载百度网盘：https://pan.baidu.com/s/12A5pwvLd2k0j3ibXLXCmsg提取码：qa3j免安装，无需破解，直接运行run.bat即可。此版本较旧，做学习与了解渗透测试即可，如需使用BurpSuite做渗透测试，请选择更高的版本。2、使用1、设置代理选择Proxy>Options设置代理地址与代理端口，如果端口不冲突的话，默认即可。2、打开浏览器代理模式在浏览器设置里面打开浏览器的代理模式(百度大把教...

原创 Burp Suite Professional v2.1安装与使用

1、下载与安装1.1、下载百度网盘：https://pan.baidu.com/s/1jmpS4DaGbfq9FQ-EQp9oFA提取码：wt6h1.2、安装1、运行burp-loader-keygen-2.jar包java -jar burp-loader-keygen-2.jar2、修改License Text为任意值3、点击Loader Command后面的Run按钮，运行burp suite4、启动burpsuite成功后，复制破解包中的License到lic.

原创 Linux快速安装Python3

之前在linux上安装python3的时候，为了让不影响linux环境原有的python2的环境，选择的方法都是下载对应的linux环境的python包，不过这里需要注意的是,不要更改linux默认输入python 进入python2的方法，自己安装python3的时候做软链接的时候要做成python3,否则系统的很多工具依赖于python2,而他们使用的是python2但是编译安装还是非常慢的，推荐下面一种快速的方法快速安装python3这里以centos 为例子，先执行：yum

原创 Centos7命令安装DM8

1、下载（官网地址）2、安装2.1、解压下载完成后，得到一个“dm8_setup_rh7_64_ent_8.1.1.45_20191121.zip”，里面有一个ISO镜像文件“dm8_setup_rh7_64_ent_8.1.1.45_20191121.iso”，使用解压工具将其解压即可。2.2、执行安装2.3、初始化数据库2.4、注册数据库服务...

原创 DataSphere Studio安装部署流程（单机版）

一、什么是DataSphere Studio?DataSphere Studio（简称DSS）是微众银行大数据平台——WeDataSphere，自研的一站式数据应用开发管理门户。基于Linkis计算中间件构建，可轻松整合上层各数据应用系统，让数据应用开发变得简洁又易用。二、安装准备DSS部署分为精简版和标准版，本文主要介绍在Centos7上部署DSS-0.7.0标准版，标准版部署有...

原创 Node.js安装及环境变量配置

Node.js 就是运行在服务端的 JavaScript。Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境。Node.js 使用了一个事件驱动、非阻塞式 I/O 的模型，使其轻量又高效。Node.js 的包管理器 npm，是全球最大的开源库生态系统。1、下载Node.js下载地址：http://nodejs.cn/download/2、解压到本...

原创 MVC模型与MTV模型流程图

原创 Python写房贷计算器的算法

import mathdef get_a(a, b, n): up = a * math.pow((1 + b / 1200), n * 12) down = 1 for i in range(1, n * 12): down = down + math.pow((1 + b / 1200), i) A = up / down pri...

原创 JSP页面有时候加载出空白页

问题描述：跳转到一个jsp页面时，有时候出现整页的空白，不展示我们的表单内容，需要点击一下页面，或者点击好几下页面，表单内容才能展示出来。问题原因：引用的js脚本后与html加载。解决方案：将页面引用的样式和js脚本都移动至html头部。...

原创 kettle5.2添加日志

创建log4j.xml文件，放置与spoon.sh同目录下。内容如下：<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd"><log4j:configuration xmlns:log4j="http://jakarta.apache.org/log4j/"><appender name="ConsoleAp...

原创 MySQL、Oracle、达梦、PostgreSQL四种数据库的递归查询

我在项目研发过程中，到设计表的这一环节，经常会遇到树结构的设计，这个查询让我非常头疼，以前的处理都是写手递归函数，这种方式虽然可以解决，但是很不方便。今天我们依赖数据库处理它。1、MySQL1.1、建表并插入数据CREATE TABLE IF NOT EXISTS `DS_CATALOG` ( `CATALOG_ID` int(3) NOT NULL COMMENT 'ID',...

原创 Java自定义注解和使用

1、定义和描述注解是一种能被添加到java代码中的元数据，类、方法、变量、参数和包都可以用注解来修饰。注解对于它所修饰的代码并没有直接的影响。注解的出现是在jdk1.5，但是在jdk1.5版本使用注解必须继续类的方法的重写，不能用于实现的接口中的方法实现，在jdk1.6环境下对于继续和实现都是用。2、元注解2.1、@Target：表示该注解可以用于什么地方，ElementType参数值...

原创 Windows部署Nginx代理Tomcat

1、下载Nginx2、部署Tomcat，分别为192.168.31.227:9010 192.168.31.235:90103、配置Nginx3.1、创建webapp.conf# 这里的名称要跟proxy_pass内的名称一致 <br>upstream nodemanagertool{ # weight:权重，默认是1，数值越大提供服务的次数就越多...

原创 Kettle8.2启动节点报错

#######################################################################WARNING: no libwebkitgtk-1.0 detected, some features will be unavailable Consider installing the package with apt-get or y...

原创 Flink入门

1、Flink安装与部署 环境准备：Centos7(关闭防火墙) jdk1.8.0_211 flink-1.9.0-bin-scala_2.12 ...

原创 Spark算子：滑动窗口函数reduceByKeyAndWindow的使用

1、spark官网上只是笼统的介绍了一下，Spark Streaming提供了窗口计算，可让您在数据的滑动窗口上应用转换。下图说明了此滑动窗口。2、对于官网提供的解释来说，我们也不是很深刻的了解窗口计算的原理，下面以示例分析窗口计算的过程。如：每间隔10秒计算前15秒的内容，每次计算出来的结果与上次计算出来的结果，有5秒是重复的（每个batch 5秒）。步骤如下：1) 存储上一个win...

原创 Kafka单机版搭建

1、安装jdk环境[root@Kafka /]# yum -y install java-1.8.0*[root@Kafka /]# java -versionopenjdk version "1.8.0_222"OpenJDK Runtime Environment (build 1.8.0_222-b10)OpenJDK 64-Bit Server VM (build 25.22...

原创 使用poi-ooxml进行excel下载异常

问题描述：使用poi-ooxml包对数据进行excel导出。在windows系统下，导出正常。应用部署到linux系统下，下载不了。报错如下：Caused by: java.lang.NoClassDefFoundError: Could not initialize class sun.awt.X11GraphicsEnvironment at java.lang.Class.forNa...

原创 Kellte8.2做数据汇交过程中ID被异常截取问题

问题描述：设计器kettle8.2，在做数据汇交过程中（模型如下），一个32位的ID被截取为16位的ID。在存库过程中，造成主键异常冲突。问题原因：获取汇交数据的插件中，使用到了sys_guid()，查询结果如下：SYS_GUID 以16位RAW类型值形式返回一个全局唯一的标识符解决方案：改为rawtohex(sys_guid())即可正常。...

转载 Docker命令（run）

命令格式：docker run [OPTIONS] IMAGE [COMMAND] [ARG...]Usage: Run a command in a new container中文意思为：通过run命令创建一个新的容器（container）常用选项说明-d, --detach=false， 指定容器运行于前台还是后台，默认为false-i, --interactive=false， ...

原创 Scrapy+Splash爬取动态加载js的网页数据

HTML渲染分为两类。动态加载和静态加载。静态加载就是整个HTML文档都是有服务器渲染之后，发送给客户端进行展示。但是随着技术拓展，越来越多的网页上的有效数据是通过js动态加载出来的，如果我们还是用传统的方式爬取，那么结果可想而知。今天介绍Scrapy+Splash模拟浏览器行为，动态加载js之后，获取有效数据。1、安装ScrapyC:\Users\Administrator>pi...

转载 centos poi生成excel提示X11GraphicsEnvironment

问题：项目在window中使用POI导出Excel没有任何问题，而到linux中使用POI导出Excel出现：java.lang.NoClassDefFoundError: sun/awt/X11GraphicsEnvironment异常信息原因：服务器上没有安装图形界面，或者不支持office解决办法：1、在tomcat配置文件catalina.sh文件中添加CATALINA_OP...