运维
Quincy379
坚持、冷静
展开
-
ElasticSearch之indices docs.deleted含义及如何清除docs.deleted
what does the field docs.deleted mean in elasticsearch _cat/indices API response?https://stackoverflow.com/questions/27685455/what-does-the-field-docs-deleted-mean-in-elasticsearch-cat-indices-api-responsehow to clear docs.deletedhttps://stackoverflow.c原创 2021-09-16 15:49:54 · 1661 阅读 · 0 评论 -
Elasticsearch之关系型数据库与ES概念比较
直接贴链接:https://www.elastic.co/guide/en/elasticsearch/reference/current/_mapping_concepts_across_sql_and_elasticsearch.html原创 2021-09-16 15:14:03 · 288 阅读 · 0 评论 -
ElasticSearch之分片及路由设置
https://www.elastic.co/guide/en/elasticsearch/reference/7.9/modules-cluster.html#cluster-shard-allocation-settings原创 2021-09-14 15:32:43 · 261 阅读 · 0 评论 -
ElasticSearch之elasticsearch-users用法及修改集群密码
elasticsearch-users -h/--help查看用法/app/elasticsearch-7.8.0/bin/elasticsearch-users -h******/app/elasticsearch-7.8.0/bin/elasticsearch-users -h******Manages elasticsearch file usersCommands--------useradd - Adds a file useruserdel - Deletes a file原创 2021-09-09 10:55:34 · 2913 阅读 · 0 评论 -
Sersync+Rsync同步配置
Rsync配置1.1. 配置文件vim /etc/rsyncd.confuid = rootgid = rootuse chroot = noaddress = xx.xx.xx.11port = 873strict modes = nomax connections = 0pid file = /home/rsync/rsyncd.pidlock file = /home/rsync/rsync.locklog file = /home/rsync/rsyncd.loge.原创 2021-08-31 14:28:20 · 234 阅读 · 0 评论 -
Linux之kill各种信号介绍
今天翻阅资料发现一个命令,kill -USR1 `cat /var/…/nginx.pid`,比较好奇这个USR1是什么鬼,于是就仔细研究了下。原来kill后面有很多命令,要查看有哪些命令可以使用:kill -l就会看到很多信号,这些信号具体存放位置:cat /usr/include/bits/signum.h每个信号后有个解释,其中我想要了解的USR1看了注释也不是很明白,就去看了下大神写的文章:https://www.cnblogs.com/zafu/p/9267215.html原创 2021-08-23 13:28:24 · 684 阅读 · 0 评论 -
Nginx之缓存配置
location / { client_max_body_size 1024m; proxy_redirect off; proxy_set_header Host $host:$server_port; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_...原创 2021-08-17 14:35:36 · 309 阅读 · 0 评论 -
U盘有两个盘符无法格式化解决办法
win+r输入cmd,打开命令行界面。输入DISKPART,显示电脑信息,进入DISKPART命令行。LIST DISK,列出电脑中现有的磁盘,一般来说DISK 0为计算机自带磁盘,通过磁盘大小可以知道哪个是我们的U盘,此处为DISK 3。4.SELECT DISK 3,选中我们的U盘。CLEAN,删除U盘,这个步骤会清除U盘所有内容,因此一定要保证U盘里的数据备份过。CREATE PARTITION PRIMARY,创建U盘主磁盘分区。ACTIVE, 激活磁盘分区。FORMAT FS=FAT原创 2021-07-23 14:41:51 · 2335 阅读 · 0 评论 -
Python3之win平台批量解压zip代码实现
import osimport zipfilefrom pathlib import Pathdef unzip_f(p_file, path): """ 解压文件 :param p_file: 要解压的zip文件 :param path: 将文件解压到的路径 :return: """ zip_file = zipfile.ZipFile(p_file) zip_list = zip_file.namelist() for f原创 2021-07-23 08:42:25 · 300 阅读 · 0 评论 -
Linux之date时间与timestamp时间戳转换
用的时候老忘,记录下:转时间戳:date +%s时间戳转时间:date -d @1626656829原创 2021-07-19 09:10:25 · 1521 阅读 · 0 评论 -
内网Windows处理base64编码解码
certutil -?https://blog.51cto.com/0x007/1706811原创 2021-07-15 14:37:21 · 284 阅读 · 0 评论 -
GitLab personal token 两个实例使用失效问题处理
搜了好久,原来就是这么回事!点我直达======>The problem was solved. I followed the chapter “Extra configuration for additional GitLab application servers”. Basically I was using two different gitlab-secrets.json which was causing different token digest generation for ea原创 2021-07-14 16:27:48 · 753 阅读 · 0 评论 -
彻底删除卸载GitLab自动化命令
备份gitlab的配置:vim /etc/gitlab/gitlab.rbgitlab-ctl stoprpm -e gitlab-ceps -ef|grep gitlab|grep "runsvdir -P"|awk '{print $2}'|xargs kill -9ps -ef|grep gitlab|grep "runsvdir -P"find / -name gitlab|xargs rm -rf复制执行即可原创 2021-07-09 13:37:08 · 156 阅读 · 0 评论 -
GitLab 大版本升级流程
概述背景当前使用版本12.10.12,因爆出有SSRF漏洞需要升级至13.12.7操作步骤1. 根据官网知道,需要进行几次升级迭代才行:https://docs.gitlab.com/ce/update/8.11.Z -> 8.12.0 -> 8.17.7 -> 9.5.10 -> 10.8.7 -> 11.11.8 -> 12.0.12 -> 12.1.17 -> 12.10.14 -> 13.0.14 -> 13.1.11 ->原创 2021-07-08 16:12:10 · 818 阅读 · 0 评论 -
windows搭建ftp服务器,及200 227 451错误解决
下面链接已经很详细了,不再赘述!https://www.cnblogs.com/zwqh/p/11579264.html200 227 451错误解决:https://www.veryhuo.com/a/view/141368.htmlFTP服务的高级设置有些人可能比较蒙,这里上个图:这个图的最右侧有个高级设置,点一下会出来一个对话框,设置一下即可...原创 2021-07-02 09:58:32 · 4859 阅读 · 0 评论 -
GitLab 项目创建后端口修改为80的方法
vim /opt/gitlab/embedded/service/gitlab-rails/config/gitlab.yml## GitLab settings gitlab: ## Web server settings (note: host is the FQDN, do not include http://) host: 10.10.10.10 port: 80 #改为自己需要的端口 https: false # Uncomm.原创 2021-06-25 11:11:05 · 648 阅读 · 0 评论 -
Linux之日期和时间戳转换
date -d @16087691date -d ‘06/02/2021 07:21:22’ +"%s"记录下,偶尔会用到!https://www.cnblogs.com/pugang/p/11155712.html原创 2021-06-03 08:54:30 · 532 阅读 · 0 评论 -
GitLab之Nginx漏洞修复方案
1、需求:nginx的resolver模块漏洞,涉及nginx版本0.60-1.202、解决方案:替换gitlab自带的nginx,方案比较复杂,会出现较多问题在gtilab外用nginx最新版再负载一层,这个方案不需要修改很多gitlab原有的配置,被暂时采用3、具体实践:下载最新版nginx(传送门->):nginx下载安装nginx:tar -xzvf nginx-1.21.0.tar.gzcd nginx-1.21.0./configure --prefix原创 2021-06-01 10:45:54 · 543 阅读 · 0 评论 -
搜索时排除某个网站的内容及只搜某个网站的内容
排除:关键词 -site:域名例如:puppet -site:csdn.net只搜:site:域名 关键词例如:site:csdn.net puppet原创 2021-05-18 15:26:43 · 3307 阅读 · 0 评论 -
GitLab删除项目没有删掉,报500错误解决方案
gitlab-rails dbconsoleUPDATE projects SET runners_token = null, runners_token_encrypted = null;UPDATE namespaces SET runners_token = null, runners_token_encrypted = null;UPDATE application_settings SET runners_registration_token_encrypted = null;ht.原创 2021-05-12 14:04:05 · 2386 阅读 · 4 评论 -
钉钉机器人JS代码实现
// version v0.0.1// create by Quincyconst rp = require('request-promise')async function sendNotify (resp) { const options ={ url: `https://oapi.dingtalk.com/robot/send?access_token=`, // https://oapi.dingtalk.com/robot/send?access_token原创 2021-04-27 16:26:30 · 2450 阅读 · 5 评论 -
Shell脚本配置JAVA环境变量永久生效的方法
一、解决思路:/etc/profiledoneexport JAVA_HOMEexport PATHexport CLASSPATHunset iunset -f pathmungesource /etc/profile二、脚本实现:sed -i '/done/a export JAVA_HOME...' /etc/profilesource /etc/profile亲测有效!!!!全篇完https://www.cnblogs.com/chuanzhang053/p原创 2021-04-19 10:42:23 · 951 阅读 · 0 评论 -
Linux之echo命令红底白字闪烁效果实现
echo -e “\033[41;37;5m你好啊,我是现在最靓的仔!!!\033[0m”参考链接:https://www.cnblogs.com/cmt/p/14580194.html?from=https%3A%2F%2Fwww.cnblogs.com%2Fbbox%2Fp%2F9609219.html原创 2021-04-09 17:01:16 · 884 阅读 · 0 评论 -
Linux之cp命令强制覆盖文件抑制对话的两种方式
方式一:\cp -rf /home/osoper/*.p12 /app/elasticsearch/config/方式二:/bin/cp -rf /home/osoper/*.p12 /app/elasticsearch/config/以上两个原理就是不用别名的cp,别名的cp是这样的:$alias cpalias cp=‘cp -i’选项i 不再赘述了全篇完!...原创 2021-04-09 16:18:00 · 160 阅读 · 0 评论 -
Gitlab使用备份文件报500错误解决方案
1、问题定位:1.1. gitlab 日志查看:https://blog.csdn.net/douglas8287/article/details/848802611.2. gitlab-ctl tail gitlab-rails1.3. 查看具体日志记录文件:production.log1.4. 定位问题为:OpenSSL::Cipher::CipherError ():2、解决问题:gitlab-rails dbconsole,输入如下内容:– Clear project tok原创 2021-04-08 13:15:30 · 805 阅读 · 0 评论 -
StreamSets之默认密码修改
Q: How do I change the StreamSets admin password?A:1、在路径etc/sdc/下找到form-realm.properties2、vi form-realm.properties3、admin: MD5:21232f297a57a5a743894a0e4a801fc3,user,admin修改admin的md5值,保存重新登录验证下,成功md5值计算方法:#OSX:##$ echo -n ‘admin’ | md5#Linu.原创 2021-04-07 15:15:30 · 930 阅读 · 2 评论 -
Python之selenium爬取考题代码并写入excel实践
import timeimport xlwtfrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.ui import WebDriverWait as wwaitbrowser = webdriver.Chrom原创 2021-03-30 10:41:43 · 458 阅读 · 1 评论 -
Weblogic信息自动采集脚本实现
#!/usr/bin/python# -*- coding: utf-8 -*-import jsonimport os#weblogic_11g_path="/app/bea/wlserver_10.3"#weblogic_12c_path="/app/bea/wlserver"host_ip = os.popen('ip addr |grep -Po "10.13[0 1]\.[0-9]+\.[0-9]+" | head -1').read().strip()def weblog原创 2021-03-26 08:59:55 · 756 阅读 · 2 评论 -
Redis使用systemctl启动方式
进入目标目录:cd /lib/systemd/system编辑service文件:vim redis.service内容如下:[Unit]Description=RedisAfter=network.target[Service]ExecStart=/usr/local/bin/redis-server /etc/redis/redis.conf --daemonize noExecStop=/usr/local/bin/redis-cli -h 10.131.136.5 -原创 2021-03-18 09:04:53 · 1833 阅读 · 0 评论 -
Linux之操作处理排除某个目录或文件
Linux中移动,复制,删除,打包排除某个目录或文件移动,复制,删除排除某个文件或目录方式一:cp !(file1|dir2) /data/ 复制文件到/data/,排除file1和dir2mv !(file1|dir2) /data/ 移动文件到/data/,排除file1和dir2rm -rf !(file1|dir2) ./ 删除当前目录下的文件,排除file1和dir2tar打包排除某个目录或文件使用–exclude选项,格式与示例如下格式:tar -zcvf xxx.tar.原创 2021-02-24 08:57:33 · 3412 阅读 · 1 评论 -
Linux之sed在指定字符上下前后添加内容
前:sed -i “/指定字符/要添加的内容&/” 要处理的文件后:sed -i “/指定字符/&要添加的内容/” 要处理的文件上:sed -i “/指定字符/i要添加的内容” 要处理的文件下:sed -i “/指定字符/a要添加的内容” 要处理的文件https://www.cnblogs.com/bulh/articles/11071783.htmlhttps://blog.csdn.net/sinat_31275315/article/details/103885065.原创 2021-02-24 08:07:57 · 1192 阅读 · 0 评论 -
shell之自动恢复gitlab备份脚本实现及版本查看
#! /bin/bashbackupfile=`find /var/opt/gitlab/backups -iname "*_gitlab_backup.tar"`chmod +x $backupfilefilenum=`find /var/opt/gitlab/backups -iname "*_gitlab_backup.tar"|wc -l`function gitlabsvc(){ /usr/bin/gitlab-ctl stop puma /usr/bin/gitl原创 2021-02-01 08:14:21 · 335 阅读 · 0 评论 -
Linux之利用vmware创建指定特定IP的虚机
1、1.1、编辑网络文件vim /etc/sysconfig/network-scripts/ifcfg-ens331.2、添加内容TYPE=EthernetBOOTPROTO=staticNAME=ens33DEVICE=ens33ONBOOT=yesIPADDR=10.131.136.170NETMASK=255.255.255.0GATEWAY=10.131.136.2DNS1=114.114.114.114DNS2=8.8.8.82、重启网络服务systemc原创 2021-01-20 10:37:36 · 150 阅读 · 0 评论 -
Linux之shell自动安装Python3.6.8
mkdir -p /app/cd /app/wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xzxz -d /app/Python-3.6.8.tar.xztar -xf /app/Python-3.6.8.tarcd /app/Python-3.6.8/./configure --prefix=/app/python368make && make installcd ..rm -rf /app/P原创 2020-12-08 14:19:15 · 338 阅读 · 0 评论 -
Linux之自动化创建自定义Yum源
export TMOUT=0cat /etc/redhat-releasecat /etc/issueuname -amkdir /etc/yum.repos.d/bakmv /etc/yum.repos.d/* /etc/yum.repos.d/bakecho -e "[centos7.6]name=centos7.6baseurl=http://xx.xx.xx.xx:18080:/yum/centos7.6enabled=1gpgcheck=0" > /etc/yum.re原创 2020-12-08 10:02:26 · 227 阅读 · 0 评论 -
Python3之NPM数据处理
需求:将下面的npm数据进行处理,数据发送1分钟一个点,有时5分钟内会有6个点数据,有时候是5个点数据,统计5分钟内数据的和(只需要5个点的和),有6个点数据需要剔除一个,剔除原则是最开始1个点数据需要剔除。{"a1": {"1606201860": 0, "1606201800": 0, "1606201740": 0, "1606202040": 0, "1606201980": 200.53333333333333}, "a2": {"1606201920": 85275.06666666667,原创 2020-11-25 17:19:28 · 471 阅读 · 0 评论 -
Shell之自动安装elasticsearch代码实现V1版本
#!/bin/sh##############################################用法:source auto_deploy_elastic.sh ip node##Author: Quincy379############################################## 创建用户和用户组#set -eUsage(){ echo "Usage: source auto_deploy_elastic.sh ip1 ip2 ip3 node0原创 2020-11-02 15:02:04 · 429 阅读 · 5 评论 -
Python2/3之kafka模块 Value must be bytes报错处理
解决方案:在要发到kafka的数据后添加encode(“utf-8”),亲测有效!producer.send(‘my-topic’, json.dumps(msg).encode(‘utf-8’))参考链接:https://stackoverflow.com/questions/41146144/how-to-fix-assertionerror-value-must-be-bytes-error-in-python2-7-with-apache/41146274...原创 2020-09-23 17:04:23 · 1356 阅读 · 0 评论 -
Linux之在所有编程文件中查找想要的内容grep
进到所要查找文件的目录输入:grep -nr 要查找的内容 *原创 2020-09-09 13:12:21 · 227 阅读 · 0 评论 -
Jstack之定位问题思路总结
准备工作:十进制转十六进制:printf “%x\n” pidtop -Hp pidjps定位排查思路:1.使用top找到占用资源较多的进程id2.使用top -Hp 进程id 找到有问题的线程id3.jstack 进程id|grep -A 35 printf "%x" 线程id4.定位到具体的问题代码5.代码整改!注意问题:jstack使用时注意切换用户,使用什么用户起的程序就要使用什么用户运行jstack,否则可能出现错误...原创 2020-09-07 10:25:47 · 879 阅读 · 0 评论