自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

翻译 aiomysql异步操作mysql

一、概述 aiomysql是一个从asyncio(PEP-3156/tulip)框架访问MySQL数据库的库。它依赖并重用PyMySQL的大部分部分。aiomysql试图成为一个很棒的aiopg库,并保留相同的api、外观和感觉。 在内部aimysql是PyMySQL的副本,底层io调用切换到a...

2020-05-27 13:43:34 128 0

原创 get_local_server_stream Failed: 80004002

ubuntu wine安装wechat 服务报以下错误 解决方法: rm -rf ~/.wine WINEARCH=win32 winecfg

2020-05-18 10:39:09 755 0

原创 Ubuntu18.04 libfreerdp不支持H264 GFX模式

使用ubuntu18.04自带的remmina工具连接windows服务器远程桌面报以下错误 You requested an H264 GFX mode for server app.localhost.com, but your libfreerdp does not support H26...

2020-05-16 08:23:35 1006 0

原创 DOS命令格式化制作U盘

1、打开运行,输入cmd,然后回车 2、输入命令 diskpart ,按回车键 3、列出电脑中道的所有磁盘 list disk 4、选择磁盘select disk 2 我的电脑–管理–磁盘管理 5、清理 clean 6、重新建物理卷(我的电脑–管理–磁盘管理) ...

2020-05-13 14:28:15 1130 0

原创 ubuntu系统基础设置和常用软件安装

一、更新语言为中文 ① 打开"系统百设置":可以从右上角弹出菜单,选择"System Settings..."打开系统设置 ② 打开"Language Support"后,若有"汉语(中国)"请跳至问 步骤 7,没有汉...

2020-05-13 11:12:40 1073 0

原创 mysqldump: Couldn't execute 'SELECT COLUMN_NAME

使用mysqldump备份数据库提示 mysqldump: Couldn’t execute ‘SELECT COLUMN_NAME, JSON_EXTRACT(HISTOGRAM, ‘$.“number-of-buckets-specified”’)...

2020-04-30 15:40:32 1852 0

翻译 Jenkins跳过构建

一、概述 项目使用Spring Cloud开发,jenkins job风格为:manven项目。 构建过程,采用的是参数化构建。 这里有一个瑕疵。发布时,需要使用pom.xml进行构建。构建过程时间比较长,需要几分钟。 但是回滚时,不需要使用pom.xml进行构建。直接使用备份文件进行覆盖即可!...

2020-04-11 14:06:45 2268 0

转载 jenkins发布Spring Cloud(单机版)

一、概述 有一台测试服务器,需要部署Spring Cloud。通过Jenkins来发布! 1、环境说明 gitlab版本:GitLab 社区版 10.5.1 jenkins版本:2.219 测试服务器:操作系统为centos7.6 2、项目说明 微服务统一在一个git项目里面,项目的大致结构如...

2020-03-28 20:21:30 2821 0

翻译 C2 CompilerThread9 长时间占用CPU解决方案

一、描述:异常线程的堆栈如下: "C2 CompilerThread9" #48 daemon prio=9 os_prio=0 tid=0x00007f45f0b80000 nid=0x188 runnable [0x0000000000000000] java.lan...

2020-03-27 13:48:07 2879 0

原创 内存映射文件mmap

一、简介 内存映射文件,是由一个文件到一块内存的映射。内存映射文件与虚拟内存有些类似,通过内存映射文件可以保留一个地址空间的区域,同时将物理存储器提交给此区域,内存文件映射的物理存储器来自一个已经存在于磁盘上的文件,而且在对该文件进行操作之前必须首先对文件进行映射。使用内存映射文件处理存储于磁盘上...

2020-03-27 11:25:14 2727 0

原创 MongoDB Pipeline

pipeline 对mongodb的collection进行运算,筛选,截取,排序操作。 一、pipeline 格式 pipeline = [ {$project:?}, {$match:?}, {$group:?}, {$sort :?}, {$limit:?}, {$s...

2020-03-25 12:58:00 1993 0

翻译 Pyppeteer

一、简介 Puppeteer 是 Google 基于 Node.js 开发的一个工具,有了它我们可以通过 JavaScript 来控制 Chrome 浏览器的一些操作,当然也可以用作网络爬虫上,其 API 极其完善,功能非常强大。 而 Pyppeteer 又是什么呢?它实际上是 Puppeteer...

2020-03-24 10:16:00 1181 0

翻译 使用内存硬盘(tmpfs)来加速网站

准备工作 1、对 nginx root 目录要备份 2、查看系统版本 $ cat /etc/issue Ubuntu 18.04.4 LTS \n \l 步骤 1、创建一个目录,比如/ramdisk,然后使用tmpfs命令挂载一部分内存当作硬盘 mount -t tmpfs -o size=25...

2020-02-28 10:13:04 732 0

原创 使用 curl 发送 POST 请求

一、参数说明 格式: curl -H 请求头 -d 请求体 -X POST 接口地址 参数 内容 格式 -H(或者 --header) 请求头 “Content-Type: application/json” -d POST内容 ‘{“id”: “001”, “name”:“张...

2020-02-19 20:42:46 778 0

原创 MySQL 查询结果单位换算方法

一、round 函数 说明: round(x,d):用于数据的四舍五入,round(x) ,其实就是round(x,0),也就是默认d为0; 这里有个值得注意的地方是,d可以是负数,这时是指定小数点左边的d位整数位为0,同时小数位均为0; 示例: SELECT ROUND(200.1467,2)...

2020-02-19 13:59:52 708 0

原创 Python实现加密方法集合

一、常用的js加密算法 1、js加密解密算法 对称加密(加密解密密钥相同):DES、DES3、AES 非对称加密(分公钥私钥):RSA 信息摘要算法/签名算法:MD5、HMAC、SHA 2、算法说明 ①新浪微博登陆: RSA(非对称加密方式) 登录前先get请求返回携带有token、pubkey...

2020-02-17 11:46:41 540 0

转载 排查MongoDB CPU使用率高的问题

一、分析MongoDB数据库正在执行的请求 执行db.currentOp()命令,查看数据库当前正在执行的操作。命令的输出示例如下: { "desc" : "conn632530", "threadId" ...

2020-02-14 11:08:35 381 0

原创 git仓库迁移

git仓库迁移有很多种方法(比如将A地址的代码迁移到B地址上): 1、将A工程的每一个分支都克隆下来,一个个push到B地址上去(这种方法比较low,而且效率非常低) 2、git clone --bare A地址:将获得全部复制的标签,地方分支机构master (HEAD),next,pu,和ma...

2020-02-14 09:49:07 145 0

转载 Docker 原理讲解

一、概述 1.1 基本概念     Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从 Apache2.0 协议开源。     Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的...

2020-02-12 16:19:34 171 0

翻译 Python日期的加减

一、timedelta #Python的timedelta可以处理时间的加减 import datetime sdate = datetime.datetime.strptime('2019.01.05','%Y.%m.%d') delta7 = dat...

2020-01-18 09:11:11 317 0

原创 flask通过Flask-PyMongo操作mongo数据库

MongoDB 是一个开源的数据库,它存储着灵活的类-JSON 的“文档”。与关系数据库中的数据行相反,它能够存储任何的数字,名称,或者复杂的层级结构。Python 开发者可以考虑把 MongoDB 作为一个持久化,可搜索的 Python 字典的“仓库”(实际上,这是如何用 PyMongo 来表示...

2020-01-07 09:34:30 960 0

原创 scrapy设置随机请求头和代理

一、设置随机请求头 浏览器请求头网站地址:http://www.useragentstring.com/pages/useragentstring.php?typ=Browser 1、添加中间件 class UserAgentDownloaderMiddleware(object): US...

2020-01-02 14:11:58 302 0

原创 Centos SSH双因子认证

一、简介 双因子认证 – Two-factor authenticator(即 2FA),是一种通过组合两种不同的验证方式进行用户验证的机制。 OpenSSH双因子认证是信息安全等级保护中较为重要的安全检测项之一,要求远程登陆核心服务器时必须进行二次认证(指纹、虹膜、动态码等)。 配置免费开源的...

2019-12-19 10:47:58 378 0

原创 批量删除rabbitmq队列

1、在启用了 rabbitmq management plugin 之后,可以通过 http://IP:15672/cli/ 下载 rabbitmqadmin shell 文件,linux/windows都可用curl,如下: ##下载文件 sudo curl http://IP:15672/cl...

2019-12-17 14:48:40 311 0

翻译 Windows10远程报错:由于CredSSP加密Oracle修正

1、打开注册表,快捷输入 regedit 2、找文件夹 路径:HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\Policies\System\CredSSP\Parameters 然后再最底部文件夹里面 新建 DWORD(3...

2019-12-16 08:57:29 133 0

翻译 Redis哨兵(Sentinel)模式

Redis主从切换技术的方法是:当主服务器宕机后,需要手动把一台从服务器切换为主服务器,这就需要人工干预,费事费力,还会造成一段时间内服务不可用。这不是一种推荐的方式,更多时候,我们优先考虑哨兵模式。 一、哨兵模式概述 哨兵模式是一种特殊的模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程...

2019-12-13 15:49:38 157 0

原创 查看阿里云RDS binglog的方法

从阿里云的RDS下载binlog后,直接使用 mysqlbinlog 二进制文件名 工具看到的binlog是加密的,因此需要按时间点从后台备份的binlog日志从阿里云导出来,然后用mysqlbinlog查看日志内容: mysqlbinlog -vv --base64-output=decode-...

2019-12-12 16:01:34 140 0

原创 django + xadmin 配置后台

一、配置主题功能 在任意一个应用下的新建 adminx.py 文件, 添加如下配置 #-*- coding:utf-8 -*- import xadmin from xadmin import views class BaseSetting(object): enable_themes ...

2019-12-03 14:31:25 180 0

原创 django集成 xadmin 踩的坑

一、下载源代码,并安装源码到django项目 源代码官网:https://github.com/sshwsfc/xadmin 1、安装依赖 将源代码下载到本地,并进入到源代码目录,执行 pip install -r requirements.txt 2、在django的根项目路径下,创建 extr...

2019-11-28 12:54:51 177 0

原创 pip 安装软件报 Requirement already satisfied

在高版本的 python 中安装软件 django-import-export 报错如下: E:\python\Demo>pip install django-import-export Looking in indexes: https://pypi.tuna.tsinghua.edu.c...

2019-11-28 10:48:15 713 0

原创 使用systemd管理java的jar包服务

一、编写启动和停止脚本 #### 启动脚本 # cat /usr/local/bin/start.sh #!/bin/bash export JAVA_HOME="/usr/java/jdk1.8.0_211" export PATH=$JAVA_HOME/bin:$PATH...

2019-11-15 13:44:59 216 0

原创 python多线程中的共享全局变量的锁机制

一、Lock版锁机制 多线程都是在同一个进程中运行的。因此在进程中的全局变量所有线程都是可共享的。这就造成了一个问题,因为线程执行的顺序都是无序的,有可能会造成数据错误,代码如下: #!/usr/bin/env python #-*- coding:utf-8 -*- import threadi...

2019-11-04 14:25:28 644 0

原创 JENKINS配置自动构建

一、构建触发器 选择触发远程构建 --> 填写令牌(名字随意写) 备注:svn中获取最新代码,需要在svn地址后加上@HEAD参数,如svn://192.168.16.243:/gateon-dmp-h5@HEAD 二、浏览器触发 在浏览器上输入:http://192.168.147....

2019-11-04 11:48:42 151 0

原创 filebeat合并多行日志

原文地址:https://www.elastic.co/guide/en/beats/filebeat/current/_examples_of_multiline_configuration.html 一、多行配置示例 1、将Java堆栈跟踪日志组合成一个事件 2、将C风格的日志组合成一个事件...

2019-10-30 12:47:57 1586 0

原创 Beats轻量级日志采集工具

Beats 平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。常用的Beats有Filebeat(收集文件)、Metricbeat(收集服务、系统的指标数据)、Packetbeat(收集网络...

2019-10-29 21:10:48 603 0

翻译 python操作elasticsearch从创建索引到写入数据

一、创建索引 ##安装elasticsearch : pip install elasticsearch ##创建索引 from elasticsearch import Elasticsearch es = Elasticsearch('192.168.0.144:9200�...

2019-10-25 13:50:50 280 0

原创 定期清理elasticsearch中的索引

**需求:**日志保留一个月,到时自动将30天前elasticsearch中的索引数据删除 #!/bin/bash DATE=`date -d "3 days ago" +%Y.%m.%d` ip=`ifconfig eth0 | grep "inet" |...

2019-10-21 13:57:35 143 0

原创 kibana使用地图展示nginx客户端IP区域

一、配置nginx日志格式为json格式 http { include mime.types; default_type application/octet-stream; charset utf-8; # log_format main '$remote_a...

2019-10-21 12:54:59 312 0

原创 python调用阿里api定时备份阿里云RDS数据库

需求: 全量备份数据库,但是数据库比较大,如果采用mysqldump在其他机器备份会大量占用mysql,所以研究了阿里api文档写了python脚本放在linux下用定时任务自动备份。 一、安装阿里云rds的SDK模块 pip install aliyun-python-sdk-rds 参考地...

2019-10-20 10:42:00 230 0

翻译 Python3 操作 elasticsearch

一、安装 pip install elasticsearch 二、连接集群节点 1、指定连接 es = Elasticsearch( ['172.16.153.129:9200'], # 认证信息 # http_auth=('elastic&...

2019-10-16 15:42:16 178 0

提示
确定要删除当前文章?
取消 删除