一个CD包-CSDN博客

原创 python ThreadPoolExecutor 多线程踩坑之旅

背景最近做了套接口测试系统，后台定时任务会批量去跑测试用例，用的是多线程，以前多线程模块用的是自己封装的包，但因为一些原因近期替换成了python标准库中的ThreadPoolExecutor，于是问题开始了……项目用的是：Flask + Flask-SQLAlchemy + Flask-APScheduler问题描述定时任务运行时大约有20%的概率会出现问题一与问题二问题一py...

2019-08-10 15:18:58 13598 2

原创将CentOS系统默认的python一键自动升级到最新的2.7.13版本

#!/bin/bash# 脚本用途，将系统默认的python2.6版本到最新的python2.7.13，原有的python2.6继续保存# 彩色输出，定义变量red="\e[0;31m"green="\e[0;32m"yellow="\e[0;33m"endColor="\e[0m"# 判断当前是否已经是2.7.13版本，如果是直接退出【未完成，无法实现】#python_version=

2017-08-06 11:52:50 2209

原创 GIT使用教程

git常规操作克隆clone: git clone http://gitlab.lejiayuan.cn/test-temp/testProject.git提交： git add . #.表示所有，也可以指定文件 git commit -m “修改说明” git push #推送到远程库，会推送到远程相应的分支下提交到指定分支： 1.先切换到需要提交的分支：git

2017-06-16 10:50:48 1212

原创将CentOS系统默认的python手动升级最新到2.7.13版本

CentOS系统自带的python通常为2.6的，可能一些情况下需要升级到最新，目前2版本最新的为2.7.13.完整升级需要做以下几项事情：为yum保留老版本，更改yum中调用的python路径；安装python2.7.13新版本；安装pip工具；**更改yum调用的python路径1. 查看原来python版本[root@dqy-temp ~]# python -VPython 2.6

2017-05-26 10:45:10 1623

原创 Windows10上解决python3.7与python3.8共存的问题

背景：因为一些原因，需要同时用到python3.7的32位与python38. 平时以3.8 64位为主环境。一、分别安装python3.7,python3.8，确保3.7与3.8运行都正常可能踩到的坑，安装完python3.7后，3.7运行正常。安装完python3.8后，3.8运行正常，再次运行3.7时一直报错，如下：Fatal Python error: initfsencoding: unable to load the file system codec ModuleNotFoundErr

2021-01-22 20:20:17 4481 2

原创 django项目中运行makemigrations迁移模型时一直报No changes detected解决方法

问题运行python manage.py makemigrations时，一直无法识别app中的模型，一直报No changes detected背景第一次时迁移时运行成功，后面因为模块改变较大，直接把所有的表全删除了，然后把app/migrations目录中的内容也全清空了，试图重新迁移模型。以前都是采用这种方式，都没有问题，但今天碰到一删除后就再也无法识别自定义的模型了。解决方法按...

2020-02-23 19:53:01 1082

原创 Linux上批量清空日志文件（非删除）

背景Linux服务器上，程序运行一段时间后，日志可能占满了磁盘，导致磁盘可用空间告警，这时就需要批量清空（非删除）日志文件错误做法一般可能会写个批量删除的脚本，定时去运行，形如：#!/bin/bash# 查看/opt目录下，所有日志文件及大小find /opt -name *.log | xargs du -sh# 删除/opt目录下所有的日志文件find /opt...

2018-04-25 11:45:48 10289 5

原创解决windows64位系统上安装mysql-python报错

一、背景python项目中需要操作mysql，于是运行：pip install MySQL-python报一连串的错误，前面的错误根据提示都好解决，但被下面的错误一直卡住，好一翻折腾才解决，所以在此记录以备忘。 Cannot open include file: ‘config-win.h’: No such file or directory” while instal...

2018-03-12 13:08:24 3644

原创 jenkins安装与常规配置

前言非技术分享，仅作为工作交接的备忘录一、安装Jenkins打开官网https://jenkins.io/ 下载得到jenkins.war；新建目录：mkdir -p /data/deploy/jenkins;将jenkins.war上传到此目录；将如下脚本保存成sh脚本，放到jenkins目录；给启动脚本与停止脚本可执行权限：chmod +x /data/deploy/jenkins/

2017-12-08 14:41:30 938

原创 gitlab安装与邮件及域名配置

一、安装jenkins打开官网https://jenkins.io/ 下载得到jenkins.war；新建目录：mkdir -p /data/deploy/jenkins;将jenkins.war上传到此目录；将如下脚本保存成sh脚本，放到jenkins目录；给启动脚本与停止脚本可执行权限：chmod +x /data/deploy/jenkins/*.sh 启动脚本：startJenk

2017-12-08 10:10:34 14108 1

原创 gradle集成sonarqube

1 前言maven项目集成sonarqube倒是挺简单的，最近接触了gradle项目，要求集成sonarqube做代码静态分析，费了一番功夫才整出来，现在此记录，以备后查。 PS: 刚接触gradle，对sonarqube也不算是太了解，难免有错误，目前只是实现的在build.gradle中添加配置后运行gradle sonarqube可以将分析结果上传到sonar中，并在WEB端展现。2 在

2017-11-05 22:57:30 11886 5

原创 rabbitmq环境搭建与常规配置

安装erlangrabbitmq是采用erlang开发的，所以需要安装erlang环境如果直接下载rpm包安装，会碰到一大堆依赖问题，解决起来比较麻烦，建议添加yum源，通过yum来安装。 1. 下载erlang对应的yum源： wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm 2.

2017-10-16 16:49:44 4918

原创命令行查看与修改mysql的系统参数

前言仅罗列出一些常用的命令，以备自己日后查找查看mysql正在执行的操作mysql> show processlist;+----+------+-------------------+------+---------+------+----------+------------------+| Id | User | Host | db | Co

2017-10-12 17:47:22 6583

原创 mysql5.7用户管理：添加用户、授权、撤权、修改密码

前言mysql5.7版本中用户管理与以前版本略有不同，在此记录，以备忘登陆[root@ver ~]# mysql -h 127.0.0.1 -P 3316 -u root -pEnter password:Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 9Server v

2017-10-12 14:16:11 3974

原创 Linux下源码安装mysql5.7.17

一、前言本文档内容包含在redhat, centos等linux系统下通过源码安装mysql5.7的帮助说明；本文档包含在同一台系统上安装多个mysql的帮助说明；二、源码安装MYSQL前提：以下步骤请都用root用户或拥有管理员权限的用户来执行 2.1 安装依赖包[root@ver ~]# yum -y install gcc-c++ ncurses-devel cmake mak

2017-10-12 11:58:51 582

原创 python遍历文件夹，指定遍历深度与忽略目录

背景需要在文件夹中搜索某一文件，找到后返回此文件所在目录。用最常规的os.listdir()方式实现了一版，但执行时报错：递归超过最大深度。于是自己添加了点功能，之所有写此函数是为了让它适应不同的项目，因为有项目要找的文件在第一层，有的在第二层。函数功能：在文件夹中查找某一文件，找到后返回True与文件所在目录路径。参数：filepath, 要查找的目录参数：filename, 要查找的文件

2017-09-13 14:39:53 7541

原创 nginx静态资源缓存策略配置

1. 问题-背景以前也经常用nginx，但用的不深，通常是简单的设置个location用来做反向代理。直到今天给客户做项目碰到缓存问题：客户有个app，只是用原生做了个壳，里面的内容都是用h5写的，我们半途接手将新版本静态资源部署到服务器上后，发现手机端一直显示老的页面，一抓包，发现手机端根本就没有去请求新的html页面，定位是缓存问题。2. 配置乍一看，客户原来的配置好像没什么问题，该有的也全有了

2017-09-06 23:13:38 47856 3

原创 flask应用中通过requests发起新请求时一直超时或假死

问题描述最近在开发过程中碰到一问题： 1. 后台api接口已经写好，通过postman可以正常访问； 2. 开发前端页面时，直接通过requests.post方法去调用后台接口，将接口返回的数据在模块中渲染再返回给浏览器；经过再三确认，程序正常，但就是浏览器在访问时一起报超时或假死，不论将timeout设置为多久都一样解决方法实在无法，于是将程序部署到服务器上试试，服务器是【Nginx +

2017-08-30 10:23:06 17411 7

原创 rpm文件解压

检查命令是否安装解压rpm需要用到rpm2cpio命令，先在命令行中敲入rpm2cpio看是否已经安装了此命令，要是没有则先安装。# 安装rpm2cpio命令yum install rpm解压rpmrpm解压语句：rpm2cpio filename | cpio -div将解压语句做成系统命令每次都记不住命令，可以将此语句做成系统命令用root登陆，执行 vi /usr/bin/unrpm

2017-08-17 15:16:30 34349

原创 python使用requests库提交multipart/form-data请求

前言原以为requests足够简单足够强大，可以处理http的所有情况，直到今天碰到multipart/form-data，才发现还有不足的地方。网上有不少遇到同样问题的，但感觉不够直观，且本人就是偏爱使用requests实现import requests# 演示用，一般随便搞个就可以，此地址会返回404，但不影响观看请求体url = "http://www.csdn.net/login"# 折

2017-08-15 14:21:30 33843 6

原创 Linux配置好公钥后无法登陆

前提：/etc/ssh/sshd_config 配置正确；在远程服务器上添加了公钥；远程服务器ssh端口正确并且是默认的22端口；使用用户名与密码登陆正常；问题：无法使用公钥登陆，每次都要求输入用户名与密码；普通用户可以公钥登陆，root不行，但sshd_config中是允许root登陆的且各种配置都正确；登陆时提示如： dengqingyong@bogon:~$ ssh egit

2017-07-25 17:23:02 4685

原创 python发送邮件

说明：python虽然有smtplib包，但发送邮件时自己要写的代码还是有点多，无法做到拿到即用，所以封装一下。MailTool：邮件工具类，实例化后可直接调用其方法 send()：发送邮件，可处理附件，发送给多人等#!/usr/bin/env python# coding=utf-8"""Author: DENGQINGYONGTime: 17/2/10 11:05 Desc:

2017-06-23 16:03:49 649

原创 python脚本实现git commit hooks钩子

脚本用途git commit hooks（钩子），每当用户运行一次git commit时，会自动将此次用户填写的日志发送到指定邮箱使用方法将下面的脚本复制保持，命名为commit-msg，然后丢到git项目的【.git/hooks】目录下即可， windows与macos环境下都已验证通过。说明：命名一定要为commit-msg，git钩子都是只认名字的，特定的动作会触发系统自动去调用特定的文件

2017-06-23 15:50:14 4298

原创 git 使用beyond compare来diff与merge

git空间工作目录即平时使用ls命令时看到的文件与目录暂存区使用git add filename,可以把有修改的文件添加到暂存区本地库使用git commit可以把文件从暂存区提交到本地库中，只有添加到库中的修改，才有历史记录，可以追溯与还原远程库使用git push可以把文件从本地库推送到远程库中，diffgit中用来对比差异的有两条命令，分别是：git diff与git difftoolgit

2017-06-21 09:19:14 16611 3

原创 nexus服务器搭建

搭建nexus服务的意义作为内网的统一代理，团队合作开发时不用每人都去外网下载一次；解决部分变态公司内网管制无法访问外网的问题，选一台有外网权限的机器搭建服务器，其余人直接内网访问此服务；团队合作开发时解决maven项目依赖问题；安装nexus# 下载安装包：wget https://sonatype-download.global.ssl.fastly.net/nexus/oss/nex

2017-06-16 17:40:14 4427

原创 yum仓库搭建与管理

搭建yum仓库的用途与意义：搭建yum仓库可以管理自动打包生成的大量的rpm文件，提供版本追溯功能；也可以防止人工误操作重复点击构建，导致在代码没有更新的情况下，服务仍然被重新部署与重启（没有更新的情况下，打出来的包版本号一样，客户端执行yum update时不会有实际操作）。1）安装createrepo在线安装命令： yum -y install createrepo2）配置yum私库创建yum

2017-06-16 15:20:49 1094

转载 Jenkins邮件通知之Notification插件

PS：在插件管理中搜索关键词，会有好东东参考来源：http://blog.csdn.net/wangmuming/article/details/22925357下载email相关插件后，进入【系统管理】-【系统设置】，配置Extended E-mail Notification，如图示：其中Default content代码内容如下:这里是代码开始$PROJECT_NAME - Build #

2017-06-16 14:16:24 3993

原创 JDK Dfile.encoding=UTF-8 乱码

问题描述同一个环境，同CID的项目输出后，日志文件汉字出现偶发性乱码，排查服务器环境与项目本身编码都是UTF-8解决办法JVM 读取系统环境语言的优先级是这个样子的 LC_ALL > LC_* > LANG，所以不一定是以LANG为准，建议设置JDK默认的语言为wrapper.java.additional.2=-Dfile.encoding=UTF-8-Dfile.encoding=UTF-8

2017-06-16 13:59:22 1166

原创 wrapper容器

wrapper 启动程序说明启动模式启动wrapper时，会同时启动两个进程。一个主进程：不“干实事”，只做为守护进程；一个子进程：“干实事”的，生死由主进程掌握，主进程会定时检测子进程的状态，包括：死锁、内存溢出、响应（类似心跳），一旦发现异常，主进程会重启子进程（可以配置）。启动命令Dubbo服务 bin/service.sh start Web服务（tomcat与wrapper

2017-06-16 13:09:46 5903

原创远程访问linux图形化界面

0.linux服务器安装x window、tigervnc-server等内容 **1.启动vncserver2.客户机安装vnc viwer3.启动本地vnc建立连接

2017-06-16 12:44:50 805

原创 Linux ssh免密登陆相关

提纲免密码登陆绕过跳板机一步登陆到应用服务器本机与远程快速交换文件在本机执行远程命令一、免密码登陆步骤1. 在本机生成公私钥对生成密钥：ssh-keygen -t rsa -C “[email protected]” 默认公钥：~/.ssh/id_rsa.pub  默认私钥：~/.ssh/id_rsa 注意：过程中会与用户交互两次，一是询问公钥名称，二是询问是否需要加密，可以都直接回车采

2017-06-16 12:05:43 499

原创 Gitlab高级应用——代码回滚

Gitlab撤消merger和撤消commit原理及操作一致步骤一：切换到需要回退的分支 git checkout qa 如果如下错误： fatal: This operation must be run in a work tree 则指定–work-tree参数，如下： git –work-tree=/data2/apps/gitlab/git-data/reposi

2017-06-16 11:16:37 34965

原创 linux shell 带颜色输出

* 彩色打印彩色输出颜色输出颜色打印*#!/bin/bash# 彩色输出，定义变量red='\e[0;31m'green='\e[0;32m'yellow='\e[0;33m'endColor='\e[0m'# 红色打印echo -e "${red}输出色彩：红色${endColor}"# 绿色打印echo -e "${green}输出色彩：红色${endColor}"# 黄

2017-06-13 11:37:02 1337

原创 shell 遍历文件夹

脚本用途：遍历当前目录（一层，不递归）#!/bin/bashfor path in `ls -l /data/deploy|awk -F " " '{print $9}'`do if [ -d $path ] then echo "文件夹： $path" else echo "文件： $path" fidone

2017-06-13 11:30:39 1036

一个CD包的博客