- 博客(42)
- 收藏
- 关注
RSS订阅原创 mysql全量备份及数据恢复实践
-stream=xbstream xtrabackup自带的压缩软件格式。--no-server-version-check 不做版本检查。gzip 使用gz压缩，缩小空间占用。--backup 执行备份的参数。
2024-04-25 15:32:29
366
原创 dataease-v1.18.14安装及java的jdbc插件安装
（如果启动出现啥问题用root账户，（数据库删了重新执行bash install.sh））；#需要修改为外部mysql，并且mysql需要修改一些配置。地址: http://目标服务器IP地址:服务运行端口。用户名: admin 密码: dataease。（2）java jdbc插件安装。
2024-02-26 15:27:29
545
原创 mysql8.0.30升级到mysql8.0.34
一、升级背景MySQL 8.0.29 扩展了对 ALTER TABLE … ALGORITHM=INSTANT 的支持：用户可以在表的任何位置即时添加列、即时删除列、添加列时评估行大小限制。但是为了支持 ALTER TABLE … ALGORITHM=INSTANT 的新特性，InnoDB redo log 格式对于所有 DML 操作都发生了变化。新的 redo 日志格式引入了一个设计缺陷，会导致 instant add/drop columns 的表数据损坏。
2024-01-26 15:40:53
544
原创 多层Nginx代理获取用户真实IP
proxy_add_x_forwarded_for：包括客户端请求头的X-Forwarded-For和$remote_addr，也就是包含真实用户IP和前面所有代理的列表$http_x_forwarded_for：就是X-Forwarded-For的值，能够直接拿到用户真实IP。
2022-12-13 14:52:12
1470
原创 Apipost内表单的数组请求
package mainimport ( "fmt" "github.com/gin-gonic/gin")type StartList struct { PipelineList []int64 `json:"pipelineList" form:"pipelineList"` Env string `json:"env" form:"env"` // EnvId []int `json:"envId"`}fu.
2022-05-06 17:13:57
1113
原创 jenkins API 使用postman调用
1.jenkins版本Jenkins 2.289.22.postman4.1.2win / x86-32Chrome 92.0.4515.131有两种方式访问API，并且都需要防止跨站点请求伪造的设置，通过传递crumb来实现。3.获取crumb的值http://10.0.9.37:8080/crumbIssuer/api/xml?xpath=concat(//crumbRequestField,%22:%22,...
2021-08-24 11:58:24
1876
原创 logstash读取日志文件到odps（maxcompute）
logstash 条件判断语句使用条件来决定filter和output处理特定的事件。logstash条件类似于编程语言。条件支持if、else if、else语句，可以嵌套。比较操作有：相等: ==, !=, <, >, <=, >=正则: =~(匹配正则), !~(不匹配正则)包含: in(包含), not in(不包含)布尔操作：and(与), or(或), nand(非与), xor(非或)一元运算符：!(取反)()(复合表达式), !(...
2021-06-15 13:38:04
746
原创 kubernetes使用traefik作为ingress(相同域名不同路径访问不同服务)Middleware的StripPrefix进行实现
1.环境kubernetes：v1.20.1traefik：2.4.82.安装kubeadm安装k8shelm安装traefik#Add Traefik's chart repository to Helm:helm repo add traefik https://helm.traefik.io/traefik#You can update the chart repository by running:helm repo update#And install i
2021-04-16 17:35:33
3262
原创 jenkins利用k8s的pod进行构建总结
1.安装插件2.配置凭证3.添加个云要点（坑点）：1.嘤嘤嘤2. 非pipline下的构建标签列表必须要填，并且只能用这里面填的pod内容使用示例：与上面标签列表那里保持一致。3.pipline下的构建，自定义的jnlp要在pipline script自行指定如果依旧想用（构建一个云）里面的pod Template配置，则不用在pipline script里面指定容器，应该写为如下：...
2021-04-14 15:43:39
977
原创 阿里云日志服务添加监控并通过webhook写入数据库
1.背景线上存在接口调用频繁的现象，疑似刷单，现把调用接口过多的用户及ip存入数据库，当做风控管理。2.日志处理目的：通过userId和ip来聚合接口（url），统计这个接口一分钟被调用的次数日志示例查询聚合语句* and 'userId'| SELECT regexp_extract_all(content, 'userId=\d{6}') as userid,regexp_extract_all(content, 'ip=\d{1,3}.\d{1,3}.\d{1,3}.\d
2021-04-09 18:01:00
612
原创 es查询日常记录
GET _search{ "query": { "bool": { "must": [ { "match": { "cloudflare.ClientIP": "xx.7.xx.21" } },{ "match": { "cloudflare.ClientRequestURI" : "/xx/xxxx/xxxxxxx/list" .
2021-03-30 15:53:01
231
原创 添加阿里云子账号python脚本
直接上脚本from aliyunsdkram.request.v20150501 import CreateUserRequest, CreateLoginProfileRequest,AttachPolicyToUserRequestfrom aliyunsdkcore.client import AcsClientfrom random import sampledef createUser(username, displayname): #创建用户 request = Cr
2021-03-03 16:19:52
426
2
原创 zabbix监控阿里云RDS的CPU和内存
1.环境概述装有python3的linux服务器，同时安装zabbix-agent,下载与服务端相应版本。zabbix-server：5.0.3zabbix-agent：https://cdn.zabbix.com/zabbix/binaries/stable/5.0/5.0.3/zabbix_agent-5.0.3-linux-3.0-amd64-static.tar.gz2.修改zabbix_agentd.conf3.监控脚本...
2021-03-01 11:39:10
867
原创 openssl常用使用总结
介绍SSL证书通过在客户端浏览器和Web服务器之间建立一条SSL安全通道（Secure socketlayer(SSL),SSL安全协议主要用来提供对用户和服务器的认证；对传送的数据进行加密和隐藏；确保数据在传送中不被改变，即数据的完整性，现已成为该领域中全球化的标准。证书文件后缀介绍.key：私用密钥，openssl格式，通常是rsa算法。.csr：证书请求文件，用于申请证书。在制作csr文件的时候，必须使用自己的私钥来签署申请，还可以设定一个密钥，certificate signing.
2020-12-01 13:48:06
1291
原创 利用jenkins的pipline实现CI/CD（java篇）
环境准备1、jdk环境、maven环境、harbor、docker、docker-compose、jenkins（yum安装）下图为各组件版本要点（坑点）：1、dockercat /etc/docker/daemon.json{ "registry-mirrors": ["https://pxr474dd.mirror.aliyuncs.com"]}#这个文件只放了镜像加速地址。网上说放私有镜像仓库地址（harbor），我试了不行，请大神指教。我放在了dock
2020-11-25 16:54:03
437
原创 iptables个人总结
iptables表 raw、mangle、nat、filter、security （优先级由高到低）filter表：用于控制到达某条链上的数据包是继续放行、直接丢弃（drop）或拒绝（reject）；nat表：用于修改数据包的源和目的地址；mangle表：用于修改数据包的IP头信息；raw表：iptables是有状态的，即iptables对数据包有连接追踪（connection tracking）机制，而raw是用来去除这种追踪机制的；security表：最不常用的表（通常，我们说i
2020-11-13 11:08:36
397
原创 nginx的流量并发以及ip限制管理
转载至：https://blog.csdn.net/u013182675/article/details/50222987转载至：https://www.cnblogs.com/tomtellyou/p/10764733.html总结回顾，如有侵权，私信删除。1.IP访问控制基于各种原因，我们要进行访问控制。比如说，一般网站的后台都不能让外部访问，所以要添加 IP 限制，通常只允许公司的 IP 访问。访问控制就是指只有符合条件的 IP 才能访问到这个网站的某个区域。涉及模块：ngx_ht
2020-07-30 14:14:43
577
原创 利用jenkins的pipeline实现CI/CD（python代码版）
前提说明：gitlab安装jenkins可连接gitlab项目因为jenkins是以jenkins用户启动的，docker以root帐号启动，所以需要sudo权限才能执行docker相关命令，所以需要#visudo 打开里面文件最后一行加入 jenkins ALL=(ALL) NOPASSWD: /usr/bin/docker 即可。 pipeline { agent any environment { def imageName = "${e..
2020-07-10 10:18:51
1446
原创 jupyterlab安装及R的安装
环境：centos 8.0 python 3.6.2（8.0以上默认安装）要求：用普通用户启动，如果用root会在jupyterlab里terminal进root账户，不安全，企业不建议用root安装依赖：yum install gcc （8.0以上默认安装）yum install python-devel （8.0以上默认安装）操作步骤：1.创建普通用户（这里用jupyter）useradd -d /home/jupyter jupyter2.切换该用户su jupyter3....
2020-07-08 17:03:17
1304
原创 修改x-pack的默认密码
环境：es版本5.5.2x-pack版本5.5.2命令行执行：curl -XPUT -u elastic:changeme 'http://localhost:9200/_xpack/security/user/elastic/_password' -d '{ "password" : "123456" }'
2020-07-06 16:54:29
1232
转载 Jenkins+Git+Docker的持续集成
转载至：http://blog.itpub.net/7607759/viewspace-2134637/ 侵删配置docker宿主机root@docker01:~# vi /data/dockerfiles/scripts/deploy.sh#!/bin/bash############################################# this script function is : # deploy new docker conta..
2020-07-01 16:23:19
226
原创 监控某一文件是否有错误日志
# encoding=utf-8import reimport jsonimport timeimport requestsimport os,sysimport subprocesslogFile1="/opt/pubtrans/logs/ods-flume/logs/flume.log"city = sys.argv[1]def monitorLog(logFile): # print'监控的日志文件 是 %s'%logFile popen = subprocess..
2020-06-22 15:24:52
378
原创 python-gitlab统计用户下所在组及加入的项目
直接上脚本，import gitlabfrom collections import defaultdictgl = gitlab.Gitlab('http://gitlab.example.com/',private_token='XXX[去gitlab获取]',api_version='4')# projects = gl.projects.list(all=True)# print(projects)users = gl.users.list(active=True,all=True)
2020-06-04 10:19:20
1486
原创 Oracle数据库dmp文件导入实例
记一次项目上大文件导入Oracle实例。参考转载链接：https://blog.csdn.net/qq_38380025/article/details/80647620首先，项目内文件是有分区的，所以要使用oracle的企业版才行，通过sql查看：select * from v$version;我的结果为：Oracle Database 11g Enterprise Edit...
2019-10-12 11:24:55
490
转载 [转载]企业 MySQL 优化实施方案
转载来源：http://clsn.io/clsn/lx287.html，侵删。1.1 前言MySQL对于很多Linux从业者而言，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。今天给大家体验MySQL...
2018-09-20 09:19:33
279
原创 阿里云RAM对OSS某一目录进行访问控制
只能访问OSS的fmy-java-game-res-x03/fmy-web/images/mhyd/*下所有文件。{ "Version": "1", "Statement": [ { "Effect": "Allow", "Action": [ "oss:*" ], "Res
2018-09-19 09:31:58
2183
原创 【运维面试向】TCP三次握手和四次断开
TCP三次握手SYN(同步序列编号)，ACK(确认字符)，seq(序列号)1.客户端向服务端发送请求，报文首部带SYN=1标志，同时选择初始序列号seq=x，客户端进入SYN-SENT；2.服务端收到请求报文后，发出确认字符ACK=1，SYN=1，确认号是ack=x+1，同时为自己初始序列号seq=y，服务端进入SYN-RCVD；3.客户端收到确认后，再给服务端给出确认，确认...
2018-08-30 14:51:16
434
原创 【运维面试向】简述OSI七层模型以及列举各层协议
应用层：HTTP，FTP，NFS表示层：Telnet，SNMP会话层：SMTP，DNS传输层：TCP，UDP网络层：IP，ICMP，ARP，数据链路层：Ethernet，PPP，PDN，SLIP，FDDI物理层：IEEE 802.1A，IEEE 802.11 ...
2018-08-30 11:10:30
2103
原创 【运维面试向】简述apache和nginx优缺点
能答几个是几个。0.01.nginx更轻量级，比apache占用更少的内存和资源；2.nginx处理请求是非阻塞的（异步请求），apache是阻塞型；3.nginx处理静态文件更好。对动态文件处理不行；4.nginx可以作为负载均衡，作为反向代理服务器；5.nginx配置更简单，对虚拟主机配置更方便。6.可以加入缓存功能，proxy_cache（模块）,varnish，sq...
2018-08-30 10:52:13
1132
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人