- 博客(127)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 git push解决办法： ! [remote rejected] master -> master (pre-receive hook declined)
今天准备上传一个project到GitLab上，但是试了很多次都上传不上去，报错如下：! [remote rejected] master -> master (pre-receive hook declined)一开始还以为自己用户名和密码错误，试了好多次，网上搜所索也没搜索到明确的结果，不过最后还是找到了解决的办法。git push不上去的原因在于所push的分支权限为prote...
2019-08-09 10:04:33
11928
1
原创 Python中pandas dataframe删除一行或一列：drop函数
用法：DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False)参数说明：labels 就是要删除的行列的名字，用列表给定axis 默认为0，指删除行，因此删除columns时要指定axis=1；index 直接指定要删除的行columns 直接指定要删除的列inplace=False，默认该删...
2019-03-12 11:04:29
47817
3
原创 python中数组（numpy.array）的基本操作
为什么要用numpyPython中提供了list容器，可以当作数组使用。但列表中的元素可以是任何对象，因此列表中保存的是对象的指针，这样一来，为了保存一个简单的列表[1,2,3]。就需要三个指针和三个整数对象。对于数值运算来说，这种结构显然不够高效。Python虽然也提供了array模块，但其只支持一维数组，不支持多维数组，也没有各种运算函数。因而不适合数值运算。NumPy的出现...
2019-03-03 19:27:04
17844
原创 linux docker 容器里面编码问题
执行docker 里面执行localedef -c -f UTF-8 -i zh_CN zh_CN.utf8
2022-03-25 10:29:12
1523
原创 Log日志格式
log.debug:般用于对调试应用程序非常有帮助，主要用于开发过程中打印一些运行信息。 调试信息，可记录详细的业务处理到哪一步了，以及当前的变量状态。 不适用于线上生产环境使用，一般使用于前期线下环境调试。即使线上环境要使用，也需要通过开关来控制，只在定位追踪线上问题时才开启。log.info:突出强调应用程序的运行过程。打印一些你感兴趣的或者重要的信息，这个可以用于生产环境中输出程序运行的一些重要信息，但是不能滥用，避免打印过多的日志。 可输出数据集，但不宜重复输出数据长度较长的数据..
2021-10-28 18:19:17
1684
原创 连接mongo MongoClient 的时候 URL中用户名或密码包含特殊字符时的~
问题提出：熟悉mongodb的小伙伴们都知道，mongodb提供使用uri来访问mongodb中的某个数据库。mongodb uri中包含了用户名username、密码password、主机ip、端口号port以及数据库名dbname信息，且这些信息之间通常使用:或者@或者/来分隔。mongodb uri的一般格式为： String uri ="mongodb://username:password@127.0.0.1:27017/dbname";显而易见，如果username或者password
2021-06-04 19:16:56
2562
3
原创 HTTP 400、404、500、502的报错解释
HTTP 400 – 请求无效HTTP 401.1 – 未授权：登录失败HTTP 401.2 – 未授权：服务器配置问题导致登录失败HTTP 401.3 – ACL 禁止访问资源HTTP 401.4 – 未授权：授权被筛选器拒绝HTTP 401.5 – 未授权：ISAPI 或 CGI 授权失败HTTP 403 – 禁止访问HTTP 403 – 对 Internet 服务管理器 的访问仅限于 LocalhostHTTP 403.1 禁止访问：禁止可执行访问HTTP 403.2 – 禁止访问：
2020-12-03 10:56:54
556
1
原创 pip3 install psycopg2报错
死活就是安装不上，总是说出错，其实就是说连接超时，下载不了安装包，我这里也没有科学上网的工具，经过多方百度，找到了办法通过几次ｐｉｐ的使用，对于默认的pip源的速度实在无法忍受，于是便搜集了一些国内的pip源，如下：阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban) http://pypi.douban.com/simple/清华大学 https:/.
2020-11-17 11:49:10
905
原创 python 序列化dict的那些坑。
import jsondata = {"user_password":"pwd","lvl":"1","bill_sex":"男"}print(json.dumps(data,separators=(',',':'),ensure_ascii=False))有空格这个时候如果用base64加密 那么和没有空格的数据是不一样的数据为16进制 \u7537 这种用base64加密 那么和不是16进制的数据是不一样的{"user_password": "pwd", "lvl": "1", "bill
2020-09-24 18:33:45
816
原创 下载suds 报错 ModuleNotFoundError: No module named ‘suds‘
安装 suds 时提示 ModuleNotFoundError: No module named ‘suds’ ，没有模块叫 suds的。需要先安装 client ,然后再安装 suds 。pip install clientpip install suds
2020-09-24 12:15:47
1206
原创 python 发送form-data表单类型的数据
from urllib3 import encode_multipart_formdataheader = {"Content-Type" : "multipart/form-data"}data = {}filename = '文件名'filepath = '文件路径'#在data中增加文件key/valuedata['appFile']= (filename,open(filepath,'rb').read())#转换data数据的类型encode_data = encode_mu.
2020-07-01 11:45:09
9766
2
原创 python 中文排序（按拼音首字母）
pypinyin排序 仅按拼音首字母 排序安装pypinyinpip3 install pypinyin代码from pypinyin import lazy_pinyinchars = ['鑫','鹭','榕','柘','珈','骅','孚','迦','瀚','濮','浔','沱','泸','恺','怡','岷','萃','兖']chars.sort(key=lambda char: lazy_pinyin(char)[0][0])print([lazy_pinyin(char) fo
2020-06-23 12:21:48
5724
1
原创 python 查找ip段之间的所有ip
方法一try: from ipaddress import ip_addressexcept ImportError: from ipaddr import IPAddress as ip_addressdef findIPs(start, end): start = ip_address(start) end = ip_address(end) result = [] while start <= end: result.app
2020-06-16 14:55:45
1106
原创 python根据url下载图片到本地
import os,base64import requests as reqfrom PIL import Imagefrom io import BytesIOresponse = req.get('http://pic35.nipic.com/20131121/2531170_145358633000_2.jpg') # 将这个图片保存在内存# 将这个图片从内存中打开，然后就可以用Image的方法进行操作了image = Image.open(BytesIO(response.content
2020-06-16 14:53:50
5253
原创 Python生成excel表格并设置样式
python在做爬虫时会涉及到数据存储问题，下面说一下将数据存储在excel表格中，主要使用扩展类xlwt，下面详细说一下，主要涉及到了数据列，背景，名称等参数。说明：python3.7、window环境一、类库安装pip install xlwt二、示例代码# -*- coding: utf-8 -*-import xlwtimport time# 生成表格文件def create_file(content): # 初始化样式 style_head = xlwt.X
2020-06-11 18:00:43
2710
原创 Linux生成私钥和公钥免密连接
1.大致流程有时需要从服务器A免密连接到服务器B，这时需要在服务器A生成私钥和公钥，大致过程其实就2步。1.1 在服务器A生成公钥和私钥在服务器A上输入如下命令：ssh-keygen -t rsa过程中按三次回车，执行结束如下图:然后我们进入/root/.ssh/文件夹，查看文件夹的内容，如下所示：其中 id_rsa为私钥 id_rsa.pub为公钥，接下来打开id_rsa.pu...
2020-05-06 18:03:34
333
原创 Python 中常用的base64/ md5/ aes des crc32的加密解密方法
1.base64Python内置的base64模块可以实现base64、base32、base16、base85、urlsafe_base64的编码解码，python 3.x通常输入输出都是二进制形式，2.x可以是字符串形式。base64模块的base64编码、解码调用了binascii模块，binascii模块中的b2a_base64()函数用于base64编码，binascii模块中的a2...
2020-04-09 18:59:42
1491
原创 python schedule模块实现定时任务
一、官方示例import scheduleimport time def job(): print("I'm working...") schedule.every(10).minutes.do(job)schedule.every().hour.do(job)schedule.every().day.at("10:30").do(job)schedule.every(5...
2020-01-17 15:18:06
415
原创 Python Flask项目中获取请求用户IP地
服务器直接部署Flaskimport loggingfrom flask import Flask, render_template, request# Initialize the Flask applicationapp = Flask(__name__)# Default route, print user's IP@app.route('/')def index(): ...
2020-01-15 15:40:25
2734
原创 python操作mp3文件
from datetime import datetimeimport requestsimport osmp3_url = '/voice/20191224/03a9fa429f3f7496321c6d144675e991.wav'file_path = 'C:/Users/wangj/gs/sip2/files/download_files/'#生成对应的文件名字file_name...
2019-12-26 15:45:52
1344
原创 python 利用openpyx 写xlsx文件
# -*- coding: utf-8 -*-import openpyxl as xlimport osfolder_path = 'C:/Users/wangj/gs/sip2/'result_path = os.path.join(folder_path, "my.xlsx")if os.path.exists(result_path): workbook = xl.l...
2019-12-26 15:43:40
2111
原创 linux mv命令
-b 类似--backup 但不接受参数 -f, --force 覆盖前不询问 -i, --interactive 覆盖前询问 -n, --no-clobber 不覆盖已存在文件–mv -i foo.txt bar.txt如已存在bar.txt...
2019-11-20 11:02:01
277
原创 Python 读取文件首行多了"\ufeff"字符串 以及乱码问题
python读取B.txt文件时，控制台打印首行正常，但是若是用首行内容打开文本的话，就会报错：Traceback (most recent call last):A File "E:/python project/multiProcess/test.py", line 32, in <module> with open("%s.txt" % line, 'r', en...
2019-11-11 18:12:44
451
原创 Python 如何将字符串转为字典
在工作中遇到一个小问题，需要将一个 python 的字符串转为字典，比如字符串：user_info = '{"name" : "john", "gender" : "male", "age": 28}'我们想把它转为下面的字典：user_dict = {"name" : "john", "gender" : "male", "age": 28}有以下几种方法：1、通过 json 来转...
2019-10-30 16:00:51
2673
原创 pyhon 读写.csv文件
#写.csv文件import csvcsvFile = open("C:/Users/wangj/gs/sip/sip2/csvData.csv", "w") #创建csv文件writer = csv.writer(csvFile) #创建写的对象#先写入columns_name ...
2019-10-24 14:54:58
142
原创 supervisor :a running process with pid = 0，程序PID为0
今天踩到了一个supervisor的坑如上图所示，出现这种情况后，想把这个进程停止、或者重启，甚至stop all它还是这个样子，如下图（马赛克部分为进程名称）：一：背景在服务器上部署几个单独跑的程序，使用supervisor进行管理。关于supervisor的安装、配置运行等，Neo君不再赘述，百度能到一大堆。这里只介绍几个我用到的觉得有用的命令。#启动supervisor, supe...
2019-09-27 16:43:02
712
原创 将list中的字典排序
dd = [ { "00:00-00:30": 4869 }, { "00:30-01:00": 5652 }, { "01:00-01:30": 4935 }, { "01:30-02:00": 5033 }, { "23:00-23:30": 5528 ...
2019-09-04 14:56:29
2230
2
原创 pgsql数据库 按半小时分组 和 按一小时分组
按半小时分组select case when substr( to_char(capturetime, 'yyyy-mm-dd hh24:mi'),15, 16) :: integer <=30 then to_char( capturetime, 'yyyy-mm-dd hh24')||':30' else to_char( capturetime, 'yyyy-mm-dd hh...
2019-09-03 19:42:11
2602
原创 python3如何使用chr()把一个大于128数字转为ascii的bytes类型
首先，我们看看help(chr)，可以知道Return a Unicode string of one character with ordinal i; 0 <= i <= 0x10ffff. 所以chr(i)函数实际上返回的是Unicode编码表中的一个字符，参数i指定了这个字符在Unicdoe编码表中的位置。PS1：Unicode编码表是一个全球统一的标准，我们可以认为它为世界...
2019-08-19 14:35:48
3119
2
原创 python常用的十进制、16进制之间的转换
一 整数之间的进制转换:hex(16) # 10进制转16进制oct(8) # 10进制转8进制bin(8) # 10进制转2进制二 字符串转整数int(‘10’) # 字符串转换成10进制整数int(‘10’,16) # 字符串转换成16进制整数int(‘0x10’,16) # 字符串转换成16进制整数int(‘10’,8) ...
2019-08-19 12:05:38
2233
原创 一个简单的 udp server 端 和client 端 获取数据
udp 不需要经过3次握手和4次挥手，不需要提前建立连接，直接发数据就行。server端#-*- coding: utf-8 -*-import socketimport binasciiBUFSIZE = 1500ip_port = ('0.0.0.0', 3480) #host 端口server = socket.socket(socket.AF_INET, socket....
2019-08-16 17:03:13
721
原创 linux查看文件夹大小、文件个数的方法
linux 下查看文件个数及大小ls -l |grep "^-"|wc -l或find ./company -type f | wc -l查看某文件夹下文件的个数，包括子文件夹里的。ls -lR|grep "^-"|wc -l查看某文件夹下文件夹的个数，包括子文件夹里的。ls -lR|grep "^d"|wc -l说明：ls -l长列表输出该目录下文件信息(注意这里的...
2019-08-13 11:09:38
772
原创 文件和文件夹的移动、复制、删除、重命名
#文件、文件夹的移动、复制、删除、重命名#导入shutil模块和os模块import shutil,os#复制单个文件shutil.copy("C:\\a\\1.txt","C:\\b")#复制并重命名新文件shutil.copy("C:\\a\\2.txt","C:\\b\\121.txt")#复制整个目录(备份)shutil.copytree("C:\\a","C:\\b...
2019-08-13 11:07:31
361
原创 kettle使用命令行来运行ktr和kjb文件
1：cmd方式运行1.ktr的运行：运行transformation文件是通过Pan.bat来运行的。打开cmd命令行窗口，转到Pan.bat所在的目录，如d:\data-integration,然后执行文件的命令为：pan /file D:\etltest\EtltestTrans.ktr2.kjb的运行：运行job文件是通过kitchen.bat来运行的。打开cmd命令行窗口，转到Pa...
2019-08-13 10:29:42
5410
原创 postgresql 清除数据并清除自增ID
单纯清除数据的方法– 清除所有的记录（有外键关联的情况下）TRUNCATE TABLE questions CASCADE;– 清除所有的记录，并且索引号从0开始TRUNCATE TABLE questions RESTART IDENTITY CASCADE;...
2019-08-06 19:50:16
5910
原创 读取.bcp文件写入postgre数据库
# -*- coding: utf-8 -*-from Config import configfrom Config.config import file_path# from Config.config import project_configimport psycopg2import osimport datetime# file_name_path = os.path....
2019-08-06 19:49:28
760
原创 flask error：TypeError: 'list' object is not callable
在Flask中直接返回list或dict是不行的，如from flask import Flaskapp = Flask(__name__)@app.route('/')def root(): t = { 'a': 1, 'b': 2, 'c': [3, 4, 5] } return tif __name__...
2019-08-05 14:30:51
1287
原创 jenkins上下游工程以及空间占用处理
1.最近项目架构调整，把十几个python项目整合为一个大的项目，这样构建上游工程成功后下游工程会自动构建解决如下：取消这个勾选即可2.构建单个项目时，会把所有子工程都打包一次解决如下:指定构建时的pom文件路径3.项目构建次数多了之后会占大量磁盘空间解决如下：...
2019-08-01 13:53:38
429
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人