自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

西门大盗 捉虫专家

只提供有价值的经验分享

  • 博客(187)
  • 论坛 (6)
  • 收藏
  • 关注

原创 python中时间的转换(strftime strftime)、当前时间

爬虫时获取到的时间数据格式有很多,无论哪一种,都可以标准化成我们所需要的格式(如通用格式:2018-08-08 21:00:00)假设此时获取到的数据格式为:August 08, 2018 9:01 PM那么通过python转化成标准格式,脚本如下:import datetimea = datetime.datetime.strptime('August 08, 2018 ...

2021-03-31 11:28:23 3

原创 给自己的django项目配置域名

比如,现在你的django项目已经在服务器上面运行,那么如何配置一个域名,然后通过域名来访问项目呢?第一步:购买域名阿里云、腾讯云等云平台都可以注册、购买域名。购买后需要实名认证(上传身份证)、DNS解析。.com类型的域名是在国外的不需要备案。而.cn的域名是需要国内备案的可能需要1-3天。第二部:域名解析域名解析:就是将你的域名与你的服务器的ip地址绑定。可以在你的云平台上面完成。这里以腾讯云后台的域名解析为例,在完成了以上的各个环节后,你会来到这个页面,以上说明

2021-03-30 11:14:19 56

原创 已经安装完nginx的情况下,安装fastdfs-nginx-module

本文介绍在服务器上已经安装了nginx的情况下,安装fastdfs-nginx-module这个模块。关于nginx的安装,参考这里:自行下载fastdfs-nginx-module到/usr/local 目录下,并且解压。假设你的nignx是解压到了 /root/nginx-1.16.1 这个目录,那么需要cd到这个目录下,然后执行:./configure --add-module=/usr/local/fastdfs-nginx-module/src编译之后,将会在o...

2021-03-23 11:15:28 31 1

原创 django2.0在使用自带的authenticate方法来验证用户的账号密码,出现一直返回None的问题解决

在使用django自带的authenticate方法时,出现无论如何,验证的用户都是Nonefrom django.contrib.auth import authenticate,loginuser = authenticate(username = username,password=password)最后在settings文件中添加以下内容,完成解决问题:AUTHENTICATION_BACKENDS = ['django.contrib.auth.backends.Allo.

2021-03-15 15:31:37 27

原创 用charles手机抓包,遇到全部是connection的方法,返回的都是Connection established,解决方法如下

使用charles抓包手机数据时,会遇到抓到的链接都是200,connection类型,返回的结果是Connectionestablished。遇到这种情况,起码要做到下面几个环节:1:电脑上已经安装了证书(新下载的charles必须重新安装)2:手机安装证书(如果这台电脑刚安装了charles,那么手机的charles也需要重新安装)3:手机安装后还需要在 设置-》通用-》描述文件中选择Charles证书并且信任,如图:4:如果是苹果手机,ios10以上版本,还需要查看设置-.

2021-02-02 15:39:31 152

原创 python:微信支付链接转化成图片(data格式、PNG格式)

微信支付的链接基本格式如下:weixin://wxpay/bizpayurl?pr=szIyqLmzz拿到链接后,需要把它转成图片二维码,用来手机可扫描。import base64import qrcodeimport iodef to_image( url): img = qrcode.make(url) img = img.get_image() in_mem_file = io.BytesIO() img.save(in_mem_file, f

2021-01-28 11:04:49 265

原创 Django使用mysql数据库后,出现无法识别mysql客户端的报错,解决方法如下

django项目在settings中已经完整配置了mysql,但是,在迁移的时候就出现了如下报错:这是django无法识别pymysql的原因,只需要在项目名目录(注意,是项目名)下的__init__.py 中,添加如下代码:import pymysql# pymysql.version_info = (1, 4, 13, "final", 0)pymysql.install_as_MySQLdb()...

2021-01-06 15:00:47 27

原创 用python随机获取中文名字

一直没找到好用的中文姓名库,暂且收集了下面这些姓名集合,可以随机选取,样本不多,但随机组合成三字姓名后,还是一个很大的数量级。import randomdef get_one_name(): XING = ['赵', '钱', '孙', '李', '周', '吴', '郑', '王', '冯', '陈', '褚', '卫', '蒋', '沈', '韩', '杨', '朱', '秦', '尤', '许', '何', '吕', '施', '张', '孔', '曹',

2020-12-22 10:15:27 99

原创 用python将中文转化成拼音(xpinyin)

遇到一个很好用的中文转拼音的库:pip install xpinyindef cn_to_pinyin(): from xpinyin import Pinyin one_p = Pinyin() py_res = one_p.get_pinyin('中国') print(py_res) # zhong-guo

2020-12-22 10:09:24 62

原创 python中,多层级排序(如:对列表中的元素进行多层级排序)

主要用到sorted函数和ord函数如下例子:需求是先对age进行从小到大排序,再根据time从大到小排序。one_list = [{'age':22,'time':'2020-11-11 08:05:06'},{'age':11,'time':'2020-11-11 12:05:06'},{'age':22,'time':'2020-11-10 08:05:06'}] new_list = sorted(one_list,key=lambda keys:(keys['age'],[-or

2020-12-09 11:07:45 160

原创 python 对列表中的字符串进行排序

主要用到ord函数。什么是ord函数:ord() 函数是 chr() 函数(对于8位的ASCII字符串)或 unichr() 函数(对于Unicode对象)的配对函数,它以一个字符(长度为1的字符串)作为参数,返回对应的 ASCII 数值,或者 Unicode 数值,如果所给的 Unicode 字符超出了你的 Python 定义范围,则会引发一个 TypeError 的异常。返回值返回值是对应的十进制整数。>>>ord('a')97>>> ord

2020-12-09 10:50:59 378

原创 centos上部署django项目后,外网无法连接(内网可以访问到项目)的解决办法

在服务器上部署django项目后,遇到外网无法连接,而内网可以访问的情况,这时项目肯定是没有问题的,只能从端口项目的设置进行修改。常见有以下几个方法去尝试:一,查看服务器的安全组中是否开启了这个端口。二:查看是否是防火墙阻挡了firewall-cmd --zone=public --list-ports发现没有开启防火墙如果发现有开启了防火墙,那么就需要开放这个端口:1.添加防火墙允许的端口如(8000):firewall-cmd --zone=public --add-p

2020-09-07 15:18:36 240 1

转载 把中文转换成&#X 开头的字符(JavaScript)

目前只测试了JavaScript的转换方法,如果有python的转换版本,欢迎留言交流!function left_zero_4(str) { if (str != null && str != '' && str != 'undefined') { if (str.length == 2) { return '00' + str; } } return str;}functi.

2020-07-23 16:15:12 273

原创 python中,把‘&#’ ‘&#x开头的字符串转换成中文

爬虫时经常遇到'/u'开头的unicode编码的字符串,这时通过decode()来解决.但偶尔也会遇到以‘&#’ 或者‘&#x’开头的字符串,这是HTML、XML 等 SGML 类语言的转义序列(escape sequence)。它们不是「编码」。如果以‘&#‘ 开头,后接十进制数字,如果以‘&#’开头,后接十六进制数字。在python中的解决方法是:import htmla = '外观'print..

2020-07-18 15:33:57 627 1

原创 解决python中requests请求时报错:UnicodeEncodeError: ‘latin-1‘ codec can‘t encode character

当request请求中,带有中文,可能引发报错:UnicodeEncodeError: 'latin-1' codec can't encode character ······解决方法是,找到引起报错的地方(可能是headers中,也可能是data中)把引起报错的字符串进行转码即可:'你的字符串'.encode("utf-8").decode("latin1")...

2020-07-04 18:17:46 1319

转载 Tensorflow 使用时cpu编译报错your CPU supports instructions that this TensorFlow binary was not compiled to

使用TensorFlow模块时,弹出错误Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2原因是下载TensorFlow的版本不支持cpu的AVX2编译。可能是因为安装时使用的pip install tensorflow ,这样默认会下载X86_64的SIMD版本。有两种解决办法:1.忽略这个警告,不看它! 1 2 3 4

2020-07-03 16:41:48 170

原创 python中,ord和chr函数

ord()函数主要用来返回对应字符的ascii码,chr()主要用来表示ascii码对应的字符(参数为数字,可以用十进制,也可以用十六进制。)>>> ord('a')97>>> chr(65)'A'>>> ord('?')63一个运用:打印出a-z字母:>>> for i in range(ord('a'),ord('z')+1):... print(chr(i))...

2020-06-18 12:06:37 294

原创 在centos上更改服务器时区(美国时间、北京时间)

查看当前服务器的时区timedatectl status当前是美国洛杉矶时间,下面更改成中国北京时间:timedatectl set-timezone 'Asia/Shanghai' 如果要改成美国时间,可以用时区 "America/Los_Angeles"...

2020-06-15 15:56:13 553

原创 windows下,在cmd中查看端口占用、进程PID、杀死进程

一:查看所有的端口和对应的PID(正常情况下,没必要看所有的端口)命令:netstat -ano二:查看具体的端口占用和对应的进程pid比如查看80端口的占用情况:命令:netstat -ano| findstr 80三:查看某个pid进程具体运行什么服务:比如查看68644这个pid具体是什么服务命令:tasklist |findstr 68644四:杀死某个进程:TASKKILL [/S system [...

2020-06-07 13:15:17 661

原创 node在运行过程中出现内存溢出:FATAL ERROR: Committing semi space failed. Allocation failed - JavaScript heap out

暂时找到的解决方法是:全局安装increase-memory-limitcnpm install -g increase-memory-limit进入项目所在的文件夹,运行increase-memory-limit目前暂时解决,若有更好的方式,欢迎告知。

2020-05-31 23:13:31 1175

原创 Python中,使用glob模块搜索文件

import glob a = glob.glob('*.py') # 当前文件夹下面的所有py文件 # b = glob.glob('E:\\JOB\\**',recursive=True) # b = glob.glob('E:\\JOB\\**',recursive=False) # recursive=True 目录下的所有文件(包含子目录的文...

2020-04-26 23:08:58 108

原创 Django的Admin用户密码忘记后如何更改

Django如何重设Admin密码如果django的账户密码忘记,那么应该进入shell环境 下修改先进入项目所在的目录中。python manage.py shellfrom django.contrib.auth.models import Useruser = User.objects.get(username='admin')user.set_password('...

2020-04-02 11:37:22 140

原创 谷歌插件reres的使用,用来更改网站的js文件

谷歌商店安装:https://chrome.google.com/webstore/detail/reres/gieocpkbblidnocefjakldecahgeeica?hl=zh-CN&gl=CN安装好后,在chrome://extensions/找到 ReRes ,勾选允许访问文件网址,至此完成 ReRes 的配置。下面开始使用reres:...

2020-03-27 19:11:27 2510 2

原创 selenium+python的基本使用

selenium结合python的官方使用文档:https://selenium-python-zh.readthedocs.io/en/latest/index.html一般需要引入的包:from io import BytesIOfrom selenium.webdriver.chrome.options import Optionsfrom selenium import we...

2020-03-27 11:58:48 121

原创 python中demjson的详细使用教程,专治json解码、json编码

什么是demjson?此模块提供用于编码或解码数据的类和函数。这个实现试图尽可能符合JSON规范(RFC 4627),同时仍然提供许多可选的扩展,以允许限制较少的JavaScript语法。它包括完整的Unicode支持,包括UTF-32、BOM和代理项对处理。它还可以支持JavaScript的NaN和无限数值类型,以及它的“undefined”类型。它还包括一个类似lint的JSON语法验证器...

2020-03-21 17:22:24 1057 3

原创 centos下安装htpasswd命令(httpd),常用于nginx的密码设置

安装:yum-yinstallhttpdhtpasswd命令的参数说明:-c创建passwdfile.如果passwdfile已经存在,那么它会重新写入并删去原有内容.-n不更新passwordfile,只将加密后的用户名密码显示在屏幕上;-m默认采用MD5算法对密码进行加密-d采用CRYPT算法对密码进行加密-p不对密码进行进行加密,即使用普通文本格式...

2020-03-21 10:59:01 1574

原创 多台centos服务器设置统一的系统时间(包括windows)(ntpdate)

有时为了业务需要,希望多台服务器的系统时间一致,可以分别在各个服务器上设置时间:先安装ntpdate :yum install ntpdate -y设置系统时间为中国区时间:ntpdate cn.ntp.org.cn查看当前时间:date...

2020-03-18 11:44:06 210

原创 prometheus最靠谱安装教程(node_exporter/mysqld_exporter/grafana)

prometheus安装第一步:下载好prometheus安装包:到这里参考自己所需版本:https://prometheus.io/download/比如我自己在root下安装的版本是:prometheus-2.5.0.linux-amd64第二步:解压到/usr/localtar xf prometheus-2.5.0.linux-amd64 -C /usr/local/...

2020-03-15 01:11:30 320

原创 centos安装mwget,替换wget,提升下载速度

第一步:安装mwgetwgethttp://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2第二步:解压tar -jxvf mwget_0.1.0.orig.tar.bz2如果报错,需要安装bzip2yum install bzip2如果还是报错,尝试换个命令:tar...

2020-03-13 15:12:41 786

转载 对Prometheus 框架的理解

什么是Prometheus ?Prometheus 是一套开源的系统监控报警框架。它启发于 Google 的 borgmon 监控系统,由工作在 SoundCloud 的 google 前员工在 2012 年创建,作为社区开源项目进行开发,并于 2015 年正式发布。2016 年,Prometheus 正式加入 Cloud Native Computing Foundation,成为受欢迎度仅...

2020-03-13 14:18:45 121

转载 标点符号的英文名翻译

标点符号大家都不陌生,但是,用英文如何表达?来源于:https://github.com/selfteaching/the-craft-of-selfteaching/blob/master/T-appendix.symbols.ipynb

2020-03-12 15:57:14 96

原创 用python操作redis的基本用法

用python连接redis:常规方法:import redis# 方法一redis_url = 'redis://root:xxxx@47.110.xx.xx:6379'r = redis.Redis.from_url(redis_url,decode_responses=True) # 加上decode_responses=True,写入的键值对中的value为str类型,不...

2020-03-08 15:50:01 113

转载 用sqlalchemy框架来操作mysql数据库

什么是SQLAlchemy?数据库表是一个二维表,包含多行多列。把一个表的内容用Python的数据结构表示出来的话,可以用一个list表示多行,list的每一个元素是tuple,表示一行记录,比如,包含id和name的user表:[ ('1', 'Michael'), ('2', 'Bob'), ('3', 'Adam')]Python的DB-API返回的...

2020-03-07 18:31:07 81

原创 python爬虫时用redis去重的多种方式(增量爬虫用到)

什么是增量爬虫爬虫过程中,常常要对目标网站的新数据进行抓取,遇到已经爬过的网页需要进行过滤。本文介绍用redis数据库的高效去重。逻辑是:方法一:把所有爬过的url都放在redis中,以后每次爬取链接之前,先把url添加进去,如果能添加进去,说明是没爬过的,如果添加不进去,说明该链接有爬取过。方法二:有时可以把请求的response进行哈希,然后保存,其他的逻辑同方法一。普通爬...

2020-03-06 17:44:02 1316

原创 用python代码post请求,发送一张图片信息的脚本demo

如果要用python代码完成post一张图片,基本的写法如下:import requestsimport base64with open('sfsfsfs.jpg','rb') as f: img = f.read()res = requests.post('https://xxxxxx.com',data = {'img':base64.b64encode(img)})...

2020-03-05 17:43:15 235

原创 pymongo.errors.ServerSelectionTimeoutError: hour must be in 0..23 pymongo链接错误

在新买的服务器上安装好python 后无法用pymongo链接服务器了。报错如下:pymongo.errors.ServerSelectionTimeoutError: hour must be in 0..23重点是,同样的 代码在我本地电脑就可以运行。网上找了半天都没发现有效的解决方案,最后观察发现pymongo是当前的最新版本 3.10.1 ,所以卸载pymongo后重新...

2020-03-03 15:51:30 653

原创 python中定义类加不加object,加不加(),新式类,经典类

定义一个类时,不加object,称为经典类,加了object,称为新式类注意,python3.6后,在功能上已经没有经典类和新式类的区分。都是广度优先原则。也就是说class A: 等价于class A():等价于class A(objejct):下面一个例子 来说明调用的原则:class A(object): def foo(self):...

2020-02-29 10:53:21 1035

原创 程序员学习编程技术的过程是怎样的!

经过几年的编程学习,因为亲身经历了自己从0开始到上岗,再到技术的进一步探究,对编程技术的学习有了自己的理解。以下是自己的一些学习经验,以供参考。我认为,所有的技术掌握过程都要经历4个阶段:1:了解2:入门3:进阶4:高阶1:了解在你的编程工作中,所有的技术一定是从“听闻”开始的,只有你听到了这个技术的作用,才会想到说是否需要自己去学习,然后运用到自己的工作中,一切...

2020-02-27 16:29:21 99

原创 python中操作迭代对象的函数itertools(太好用啦)

itertools是什么?提供了非常有用的用于操作迭代对象的函数。itertools都有哪些功能?几个“无限”迭代器:count() 无限提取:>>> import itertools>>> natuals = itertools.count(1)>>> for n in natuals:... print(...

2020-02-14 15:25:08 87

原创 JavaScript 混淆 开源项目 在线工具

JavaScript 混淆——开源项目• UglifyJS: https://github.com/mishoo/UglifyJS2• terser: https://github.com/terser/terser• javascript-obfuscator: https://github.com/javascriptobfuscator/javascript-obfuscator•...

2020-02-09 17:13:58 583

空空如也

pip安装pandas遇到的问题

发表于 2018-03-19 最后回复 2020-06-12

jupyter notebook里面的nbextensions下面的选项是灰色的,无法勾选

发表于 2019-11-14 最后回复 2020-03-23

scrapyd-deploy无法运行

发表于 2018-05-22 最后回复 2019-07-04

内容已删除

发表于 2018-04-04 最后回复 2019-07-04

pywin32 无法安装

发表于 2018-04-12 最后回复 2018-05-10

win10下,命令行中右键粘贴,粘贴的内容前自带LRE

发表于 2018-04-12 最后回复 2018-05-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除