python
文章平均质量分 59
瓜而不皮
没想到吧,我又回来啦 有问题可以联系wx weirdpig
展开
-
微信公众号服务器token验证失败?
很可能是你用了官方的python范例,官方的范例是python2的,而我用的是python3的将 map(sha1.update, list) 修改为sha1 = hashlib.sha1("".join(list).encode())就可以了,原因呢,熟悉map用法的人都知道,python2中map返回的是列表,而python3中返回的是Iterator对象,所以实际上sha1.update 并没有实际调用。...原创 2021-07-22 12:18:44 · 537 阅读 · 0 评论 -
一分钟解决python3中的lxml库中没有etree模块的问题
在将以前写过的python2.7版本的代码迁移到python3.6版本的环境中遇到了lxml中没有etree模块的问题,经过查阅代码和资料发现使用pip安装的lxml库是最新版的,其中没有集成etree模块,我看了自己之前使用的lxml版本是3.7.2于是使用 pip install lxml==3.7.2试了一下,成功了。ps:我的机器环境是python3.6.6 anaconda,mac...原创 2018-07-06 16:20:13 · 13403 阅读 · 2 评论 -
python使用threading.Timer实现线程循环任务定时器(一)
在进行爬虫系统开发的过程中遇到需要间隔一段时间就重复执行的任务的需求,就想实现一个线程服务在后台监控数据的抓取状态,要想实现定时循环任务的脚本可以使用linux下的crontab命令来执行,但是在一个项目里不太适用于使用这种办法,所以想启动一个线程来处理这类的小需求。在查找资料后发现可以使用 threading.Timer来实现这个代码如下:def func1(): print('Do som...原创 2018-07-13 15:19:09 · 64004 阅读 · 24 评论 -
python去除拼音声调字母,替换为字母
第一种方法import sysimport unicodedatas = "Lǐ Zhōu Wú"remap = { # ord返回ascii值 ord('\t'): '', ord('\f'): '', ord('\r'): None }# 去除\t, \f, \ra = s.translate(remap)''' 通过使用dict.fromkeys() 方法构造...原创 2018-08-03 00:21:14 · 3913 阅读 · 0 评论 -
网站爬虫验证码识别之验证码去噪点算法,去干扰项算法。
在抓取网站过程中难免碰到图片验证码的问题,要想识别验证码,可以采取机器学习的相关算法,如svm,knn,卷积神经网络等来识别破解验证码,今天我来分享一个能极大提高验证码识别率的操作,去除验证码中的噪点。下面是去噪前和去噪后的效果对比图 ---------->代码如下# -*- coding: utf-8 -*-from PIL import Imageimport n...原创 2018-08-19 20:42:35 · 3108 阅读 · 2 评论 -
FireFox和Chrome浏览器Cookies存储路径记录(以便后续操作Cookies以实现某些鲜为人知的操作)
一、FireFox:在windows环境下Cookie数据位于:%APPDATA%\Mozilla\Firefox\Profiles\ 目录中的xxx.default目录,名为cookies.sqlite的文件,如C:\Users\nuym\AppData\Roaming\Mozilla\Firefox\Profiles\hsi4acx.default\cookies.sqlite...原创 2018-09-27 12:38:09 · 8764 阅读 · 1 评论 -
python实现欧拉路径查找算法与微信小游戏《一笔画完》(一)
这段时间微信有个小游戏叫《一笔画完》很火,在朋友推荐我玩了之后,我发现这其实就是所谓的欧拉图的简化板,我们要做的就是找出欧拉路径,游戏中起点已经定好,而且可以保证是欧拉图,如果不是的话也就没法一笔画完了,本着学以致用,边学边玩的目的,我决定自己动手用python实现一下这个算法欧拉图的基础知识我就不在这介绍了,直接上代码#自己先杜撰一组测试数据data=[[0,1,1,1], ...原创 2018-10-18 01:57:44 · 2524 阅读 · 6 评论 -
python 时间字符串与时间戳处理
今天遇到个问题需要将类似于这种 Tue, 19 Mar 2019 15:07:50 +0800 字符串转化为时间戳进行下一步处理。话不多说直接上代码time1="Tue, 19 Mar 2019 15:07:50 +0800"timstamp1=time.mktime(time.strptime(time1[5:-6],"%d %b %Y %H:%M:%S"))print ti...原创 2019-03-19 16:37:56 · 662 阅读 · 0 评论 -
python getopt模块踩坑指南
简单介绍下getopt模块,getopt顾名思意(getoption)就是获取命令行参数的一个模块一般我们获取命令行参数会使用到如下代码:import sysprint sys.argv然后终端调用 > python test.py -m abc -d 123['test.py', '-m', 'abc', '-d', '123']所有的命令行参数都被以空格分割放在...原创 2019-03-20 12:19:53 · 2256 阅读 · 0 评论 -
Xpath contains 函数特殊用法总结
不了解 Xpath的contains函数的可以看下w3c官方文档 Xpath函数可以看出 contains函数表示意思是,第一个参数字符串包含第二个参数时,返回true实际用起来可能会有点差异(由于结合了路径表达式和属性)比如我们会有这么用tree.xpath('//div[contains(@class,"abc")]') #选取class属性包含字符串"abc"的节...原创 2019-08-02 19:33:49 · 3004 阅读 · 0 评论 -
supervisor error: class 'FileNotFoundError' , [Errno 2] No such file or directory:....xmlrpc.py报错解决
supervisor是一个轻量级的,用python编写的进程管理软件,适合unix类的一些常驻系统的进程的管理我习惯使用conda install supervisor 来安装 supervisor,另一种通过yum或者easy_install 安装的方法就不说了,使用conda安装可以实现项目环境的隔离,即插即用,十分方便,如果没有安装conda的需要去anaconda官网或者相关镜像下载(国...原创 2019-09-21 16:47:19 · 14172 阅读 · 5 评论 -
mac下python matplotlib中文乱码解决方案(亲测可用)!!
在网上找了一大堆方法,花了很久,发现不是要安装各种字体就是要改配置,而且字体真的不好找也不好安装就例如下面这两种办法,mac下根本不管用,别人管不管用我不知道,反正我试过了无效import numpy as npimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei']# 或者 plt.rc('fon...原创 2018-05-30 14:44:52 · 30522 阅读 · 91 评论 -
xpath meta itemProp标签无法匹配到的问题
部分html代码如下'''<div class="QuestionPage" itemscope="" itemType="http://schema.org/Question"><meta itemProp="name" content="\u96fe\u973e\u771f\u7684\u89e3\u51b3\u4e0d\u4e86\u4e48\uff1f"/原创 2018-05-12 21:10:00 · 2070 阅读 · 0 评论 -
python时间,时间戳的转化与处理
python时间操作timestamp,datatime对象原创 2017-08-13 17:16:38 · 1167 阅读 · 0 评论 -
一分钟搞定 Mac 安装labelImg
Mac 安装labelImg原创 2017-12-09 15:27:51 · 11775 阅读 · 3 评论 -
python实现验证码的非连接字符的分割算法
最近在抓取某网站时候,遇到了验证码的问题,想要破解一下验证码,示例验证码如下这种验证码位置不固定,并且有倾斜,垂直投影会有交叉的部分,所以不适合用垂直切割的办法,受图像处理中洪水算法的启发,想到一种思路洪水算法 参见 http://blog.csdn.net/Trent1985/article/details/44904431常见实现办法有递归,扫描线算法等,本文针对的验证码不适合用扫描线算法,遂...原创 2017-12-14 19:48:01 · 4002 阅读 · 11 评论 -
tensorflow1.4 WIN7环境下安装于配置CUDA 8.0 cuDNN6.0安装
首先强烈推荐安装anaconda3可以根据自己的需要选择合适的版本我的是推荐使用清华开源镜像,我的是校园网下载的速度极快,其他国内网络应该速度也不赖。地址: https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/安装好之后 cmd输入python显示如下代表安装成功然后 cmd下输入如下命令原创 2018-01-23 22:32:45 · 640 阅读 · 0 评论 -
python去除字符串中的‘\xa0’字符
最近在抓取网页过程中遇到了 字符串,在网页中表示空格,抓取下来由于编码原因变成了 \xa0字符,采用strip()和replace()方法均无法有效去除该字符串,经查阅资料与研究,得出以下的解决方案:>>>s='\u6b63\xa0\u5e38'>>>s="".join(s.split())>>>print s>>>正常原创 2018-01-08 12:33:12 · 5706 阅读 · 1 评论 -
django Migration报错解决办法
Django在使用migrete命令时由于自己的误操作报了以下错误,django.db.migrations.exceptions.InconsistentMigrationHistory: Migration admin.0001_initial is applied before its dependency users.0001_initial on database 'default'....原创 2018-04-09 22:00:57 · 9886 阅读 · 0 评论 -
selenium之python爬虫模拟浏览器系列:使用chrome或firefox的已存在的cookie访问网站(mac)
如果我们在抓取某个网站数据或者做自动化测试之前已经登陆过该网站,不想再进行相应的模拟登录操作即可直接访问该网站,那么我们可以通过selenium直接加载已经存在浏览器中的cookies来访问该网站,selenuim在启动浏览器时启动的是全新的不带cookies的浏览器窗口,那么我们需要进行一些操作来使浏览器加载cookies。基本操作可以看这篇博客selenium之python自动化测试系列:使用...原创 2018-04-02 16:26:49 · 1987 阅读 · 1 评论 -
Django导入xadmin提示No module named import_export.admin解决方案
解决方案 安装django-import-export命令行输入pip install django-import-exportFinish原创 2018-04-10 20:43:20 · 6700 阅读 · 0 评论 -
pycharm正则替换小技巧
在django开发过程中,可能遇到需要把HTML文件中的静态文件的路径全部替换为django模板引用路径的格式例如将 <link rel="stylesheet" type="text/css" href="/static/css/reset.css">中的 /static/css/reset.css替换为{% static 'css/reset.css' %}可以用到pycharm的...原创 2018-04-12 15:44:47 · 7033 阅读 · 0 评论 -
django 发送EMAIL模块报'Authentication required'或Error: need EHLO and AUTH first错误解决
首先可以使用python内置的 smtplib 模块检验是否是网络问题或者是你的邮箱客户端设置的问题import smtplibsmtp_server = 'smtp.qq.com'smtp_port = 587server = smtplib.SMTP(smtp_server, smtp_port)server.starttls()server.set_debuglevel(1)se...原创 2018-04-13 14:35:06 · 1927 阅读 · 0 评论 -
python语言特性及面试知识点总结
python特性总结原创 2017-07-27 17:19:41 · 1661 阅读 · 0 评论