******* ▄︻┻┳═一 *******_幸福丶如此_CSDN博客-python,linux基础,web服务领域博主

翻译 aiomysql异步操作mysql

一、概述 aiomysql是一个从asyncio（PEP-3156/tulip）框架访问MySQL数据库的库。它依赖并重用PyMySQL的大部分部分。aiomysql试图成为一个很棒的aiopg库，并保留相同的api、外观和感觉。在内部aimysql是PyMySQL的副本，底层io调用切换到a...

2020-05-27 13:43:34 128 0

原创 get_local_server_stream Failed: 80004002

ubuntu wine安装wechat 服务报以下错误解决方法： rm -rf ~/.wine WINEARCH=win32 winecfg

2020-05-18 10:39:09 755 0

原创 Ubuntu18.04 libfreerdp不支持H264 GFX模式

使用ubuntu18.04自带的remmina工具连接windows服务器远程桌面报以下错误 You requested an H264 GFX mode for server app.localhost.com, but your libfreerdp does not support H26...

2020-05-16 08:23:35 1006 0

原创 DOS命令格式化制作U盘

1、打开运行，输入cmd，然后回车 2、输入命令 diskpart ,按回车键 3、列出电脑中道的所有磁盘 list disk 4、选择磁盘select disk 2 我的电脑–管理–磁盘管理 5、清理 clean 6、重新建物理卷(我的电脑–管理–磁盘管理) ...

2020-05-13 14:28:15 1130 0

原创 ubuntu系统基础设置和常用软件安装

一、更新语言为中文 ① 打开"系统百设置"：可以从右上角弹出菜单，选择"System Settings..."打开系统设置 ② 打开"Language Support"后，若有"汉语（中国）"请跳至问步骤 7，没有汉...

2020-05-13 11:12:40 1073 0

原创 mysqldump: Couldn't execute 'SELECT COLUMN_NAME

使用mysqldump备份数据库提示 mysqldump: Couldn’t execute ‘SELECT COLUMN_NAME, JSON_EXTRACT(HISTOGRAM, ‘$.“number-of-buckets-specified”’)...

2020-04-30 15:40:32 1852 0

翻译 Jenkins跳过构建

一、概述项目使用Spring Cloud开发，jenkins job风格为：manven项目。构建过程，采用的是参数化构建。这里有一个瑕疵。发布时，需要使用pom.xml进行构建。构建过程时间比较长，需要几分钟。但是回滚时，不需要使用pom.xml进行构建。直接使用备份文件进行覆盖即可！...

2020-04-11 14:06:45 2268 0

转载 jenkins发布Spring Cloud(单机版)

一、概述有一台测试服务器，需要部署Spring Cloud。通过Jenkins来发布！ 1、环境说明 gitlab版本：GitLab 社区版 10.5.1 jenkins版本：2.219 测试服务器：操作系统为centos7.6 2、项目说明微服务统一在一个git项目里面，项目的大致结构如...

2020-03-28 20:21:30 2821 0

翻译 C2 CompilerThread9 长时间占用CPU解决方案

一、描述：异常线程的堆栈如下： "C2 CompilerThread9" #48 daemon prio=9 os_prio=0 tid=0x00007f45f0b80000 nid=0x188 runnable [0x0000000000000000] java.lan...

2020-03-27 13:48:07 2879 0

原创内存映射文件mmap

一、简介内存映射文件，是由一个文件到一块内存的映射。内存映射文件与虚拟内存有些类似，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，内存文件映射的物理存储器来自一个已经存在于磁盘上的文件，而且在对该文件进行操作之前必须首先对文件进行映射。使用内存映射文件处理存储于磁盘上...

2020-03-27 11:25:14 2727 0

原创 MongoDB Pipeline

pipeline 对mongodb的collection进行运算，筛选，截取，排序操作。一、pipeline 格式 pipeline = [ {$project:?}, {$match:?}, {$group:?}, {$sort :?}, {$limit:?}, {$s...

2020-03-25 12:58:00 1993 0

翻译 Pyppeteer

一、简介 Puppeteer 是 Google 基于 Node.js 开发的一个工具，有了它我们可以通过 JavaScript 来控制 Chrome 浏览器的一些操作，当然也可以用作网络爬虫上，其 API 极其完善，功能非常强大。而 Pyppeteer 又是什么呢？它实际上是 Puppeteer...

2020-03-24 10:16:00 1181 0

翻译使用内存硬盘(tmpfs)来加速网站

准备工作 1、对 nginx root 目录要备份 2、查看系统版本 $ cat /etc/issue Ubuntu 18.04.4 LTS \n \l 步骤 1、创建一个目录，比如/ramdisk，然后使用tmpfs命令挂载一部分内存当作硬盘 mount -t tmpfs -o size=25...

2020-02-28 10:13:04 732 0

原创使用 curl 发送 POST 请求

一、参数说明格式： curl -H 请求头 -d 请求体 -X POST 接口地址参数内容格式 -H(或者 --header) 请求头 “Content-Type: application/json” -d POST内容 ‘{“id”: “001”, “name”:“张...

2020-02-19 20:42:46 778 0

原创 MySQL 查询结果单位换算方法

一、round 函数说明： round(x,d):用于数据的四舍五入,round(x) ,其实就是round(x,0),也就是默认d为0；这里有个值得注意的地方是，d可以是负数，这时是指定小数点左边的d位整数位为0,同时小数位均为0；示例： SELECT ROUND(200.1467,2)...

2020-02-19 13:59:52 708 0

原创 Python实现加密方法集合

一、常用的js加密算法 1、js加密解密算法对称加密（加密解密密钥相同）：DES、DES3、AES 非对称加密（分公钥私钥）：RSA 信息摘要算法/签名算法：MD5、HMAC、SHA 2、算法说明 ①新浪微博登陆: RSA(非对称加密方式) 登录前先get请求返回携带有token、pubkey...

2020-02-17 11:46:41 540 0

转载排查MongoDB CPU使用率高的问题

一、分析MongoDB数据库正在执行的请求执行db.currentOp()命令，查看数据库当前正在执行的操作。命令的输出示例如下： { "desc" : "conn632530", "threadId" ...

2020-02-14 11:08:35 381 0

原创 git仓库迁移

git仓库迁移有很多种方法(比如将A地址的代码迁移到B地址上)： 1、将A工程的每一个分支都克隆下来，一个个push到B地址上去(这种方法比较low，而且效率非常低) 2、git clone --bare A地址：将获得全部复制的标签，地方分支机构master (HEAD)，next，pu，和ma...

2020-02-14 09:49:07 145 0

转载 Docker 原理讲解

一、概述 1.1 基本概念 Docker 是一个开源的应用容器引擎，基于 Go 语言并遵从 Apache2.0 协议开源。 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的...

2020-02-12 16:19:34 171 0

翻译 Python日期的加减

一、timedelta #Python的timedelta可以处理时间的加减 import datetime sdate = datetime.datetime.strptime('2019.01.05','%Y.%m.%d') delta7 = dat...

2020-01-18 09:11:11 317 0

原创 flask通过Flask-PyMongo操作mongo数据库

MongoDB 是一个开源的数据库，它存储着灵活的类-JSON 的“文档”。与关系数据库中的数据行相反，它能够存储任何的数字，名称，或者复杂的层级结构。Python 开发者可以考虑把 MongoDB 作为一个持久化，可搜索的 Python 字典的“仓库”(实际上，这是如何用 PyMongo 来表示...

2020-01-07 09:34:30 960 0

原创 scrapy设置随机请求头和代理

一、设置随机请求头浏览器请求头网站地址：http://www.useragentstring.com/pages/useragentstring.php?typ=Browser 1、添加中间件 class UserAgentDownloaderMiddleware(object): US...

2020-01-02 14:11:58 302 0

原创 Centos SSH双因子认证

一、简介双因子认证 – Two-factor authenticator(即 2FA),是一种通过组合两种不同的验证方式进行用户验证的机制。 OpenSSH双因子认证是信息安全等级保护中较为重要的安全检测项之一，要求远程登陆核心服务器时必须进行二次认证（指纹、虹膜、动态码等）。配置免费开源的...

2019-12-19 10:47:58 378 0

原创批量删除rabbitmq队列

1、在启用了 rabbitmq management plugin 之后，可以通过 http://IP:15672/cli/ 下载 rabbitmqadmin shell 文件，linux/windows都可用curl，如下： ##下载文件 sudo curl http://IP:15672/cl...

2019-12-17 14:48:40 311 0

翻译 Windows10远程报错:由于CredSSP加密Oracle修正

1、打开注册表，快捷输入 regedit 2、找文件夹路径：HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\Policies\System\CredSSP\Parameters 然后再最底部文件夹里面新建 DWORD（3...

2019-12-16 08:57:29 133 0

翻译 Redis哨兵(Sentinel)模式

Redis主从切换技术的方法是：当主服务器宕机后，需要手动把一台从服务器切换为主服务器，这就需要人工干预，费事费力，还会造成一段时间内服务不可用。这不是一种推荐的方式，更多时候，我们优先考虑哨兵模式。一、哨兵模式概述哨兵模式是一种特殊的模式，首先Redis提供了哨兵的命令，哨兵是一个独立的进程...

2019-12-13 15:49:38 157 0

原创查看阿里云RDS binglog的方法

从阿里云的RDS下载binlog后，直接使用 mysqlbinlog 二进制文件名工具看到的binlog是加密的，因此需要按时间点从后台备份的binlog日志从阿里云导出来，然后用mysqlbinlog查看日志内容： mysqlbinlog -vv --base64-output=decode-...

2019-12-12 16:01:34 140 0

原创 django + xadmin 配置后台

一、配置主题功能在任意一个应用下的新建 adminx.py 文件, 添加如下配置 #-*- coding:utf-8 -*- import xadmin from xadmin import views class BaseSetting(object): enable_themes ...

2019-12-03 14:31:25 180 0

原创 django集成 xadmin 踩的坑

一、下载源代码，并安装源码到django项目源代码官网：https://github.com/sshwsfc/xadmin 1、安装依赖将源代码下载到本地，并进入到源代码目录，执行 pip install -r requirements.txt 2、在django的根项目路径下，创建 extr...

2019-11-28 12:54:51 177 0

原创 pip 安装软件报 Requirement already satisfied

在高版本的 python 中安装软件 django-import-export 报错如下： E:\python\Demo>pip install django-import-export Looking in indexes: https://pypi.tuna.tsinghua.edu.c...

2019-11-28 10:48:15 713 0

原创使用systemd管理java的jar包服务

一、编写启动和停止脚本 #### 启动脚本 # cat /usr/local/bin/start.sh #!/bin/bash export JAVA_HOME="/usr/java/jdk1.8.0_211" export PATH=$JAVA_HOME/bin:$PATH...

2019-11-15 13:44:59 216 0

原创 python多线程中的共享全局变量的锁机制

一、Lock版锁机制多线程都是在同一个进程中运行的。因此在进程中的全局变量所有线程都是可共享的。这就造成了一个问题，因为线程执行的顺序都是无序的，有可能会造成数据错误，代码如下： #!/usr/bin/env python #-*- coding:utf-8 -*- import threadi...

2019-11-04 14:25:28 644 0

原创 JENKINS配置自动构建

一、构建触发器选择触发远程构建 --> 填写令牌(名字随意写) 备注：svn中获取最新代码，需要在svn地址后加上@HEAD参数，如svn://192.168.16.243:/gateon-dmp-h5@HEAD 二、浏览器触发在浏览器上输入：http://192.168.147....

2019-11-04 11:48:42 151 0

原创 filebeat合并多行日志

原文地址：https://www.elastic.co/guide/en/beats/filebeat/current/_examples_of_multiline_configuration.html 一、多行配置示例 1、将Java堆栈跟踪日志组合成一个事件 2、将C风格的日志组合成一个事件...

2019-10-30 12:47:57 1586 0

原创 Beats轻量级日志采集工具

Beats 平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。常用的Beats有Filebeat(收集文件)、Metricbeat(收集服务、系统的指标数据)、Packetbeat(收集网络...

2019-10-29 21:10:48 603 0

翻译 python操作elasticsearch从创建索引到写入数据

一、创建索引 ##安装elasticsearch : pip install elasticsearch ##创建索引 from elasticsearch import Elasticsearch es = Elasticsearch('192.168.0.144:9200�...

2019-10-25 13:50:50 280 0

原创定期清理elasticsearch中的索引

**需求：**日志保留一个月，到时自动将30天前elasticsearch中的索引数据删除 #!/bin/bash DATE=`date -d "3 days ago" +%Y.%m.%d` ip=`ifconfig eth0 | grep "inet" |...

2019-10-21 13:57:35 143 0

原创 kibana使用地图展示nginx客户端IP区域

一、配置nginx日志格式为json格式 http { include mime.types; default_type application/octet-stream; charset utf-8; # log_format main '$remote_a...

2019-10-21 12:54:59 312 0

原创 python调用阿里api定时备份阿里云RDS数据库

需求：全量备份数据库，但是数据库比较大，如果采用mysqldump在其他机器备份会大量占用mysql，所以研究了阿里api文档写了python脚本放在linux下用定时任务自动备份。一、安装阿里云rds的SDK模块 pip install aliyun-python-sdk-rds 参考地...

2019-10-20 10:42:00 230 0

翻译 Python3 操作 elasticsearch

一、安装 pip install elasticsearch 二、连接集群节点 1、指定连接 es = Elasticsearch( ['172.16.153.129:9200'], # 认证信息 # http_auth=('elastic&...

2019-10-16 15:42:16 178 0