Python
Ken6666
爬虫爱好者.Python相关开发者
展开
-
python2.7 UnicodeDecodeError gb2312 codec cant decode bytes 错误解决
前言维护python2.7的一个小程序,编码问题,真的是搞死人.解决UnicodeDecodeError: 'gb2312' codec can't decode bytes1.这个错误我在在接受邮件时报错的,意思是邮件正文中邮非法的字符串,指定编码无法解码…2.在调试过程中,灵光一闪,如果把非法字符忽略如何,决定深入看下decode()这个方法的源码.居然被我找到解决办法了.bytes.decode([encoding="utf-8"][,errors="strict"])bytes 表原创 2020-06-17 08:55:56 · 3181 阅读 · 1 评论 -
tomorrow 与 concurrent.futures 多线程比较
前言现在有个需求是进行大批量文件copy,写完脚本,运行一下,发现速度实在太慢.要优化只能加多线程,为了图方便,我第一时间想到的是tomorrow这个库.设置线程运行后,发现效率有所提升,但是感觉还是比较慢,最后使用pyton标准库concurrent.futures比较了一下.发现concurrent快好多.话不多说,上代码.实践def test_path(): pool = Pool(max_workers=5) // 设置线程池 src = r'I:\wbdata\TA'原创 2020-05-25 14:25:05 · 201 阅读 · 0 评论 -
python连接oracle数据库
前言1.现在互联网公司基本关系型数据库都是MySQL,但是很多金融券商和传统不差钱的企业还是用的oracle.2.因为突然接触到了oracle,感觉还是有必要写一个简单的连接教程.3.python oracle说实话,比MySQL简单很多.如果是MySQL的话还有还有orm的连接方式.姿势太多.python简单连接教程import cx_Oracle //创建连接 conn = cx_Oracle.connect('hsfa30', 'Precious##5123', '原创 2020-05-25 10:35:10 · 207 阅读 · 0 评论 -
windows系统下进程监控
前言突然又个需求,要监控windows下本地的一个数据处理脚本.防止它挂掉.以及要自动重启.但是没搞过呀…怎么办,硬着头皮上呀!话说这也是奇葩需求…教程class Powershell: def __init__(self,lists, Email): self.lists = lists self.email = Email def ...原创 2020-05-06 16:34:17 · 981 阅读 · 0 评论 -
minicoda与 pipenv 比较
前言Python 包管理工具有很多,我最近使用了 coda和 pipenv,遇到一些坑,不吐不快.先说结论,不要使用pipenv,麻烦,坑多.比较版本依赖pipenv是创建一个包管理容器,但是主要执行环境还是依赖本机Python 版本.这意味着如果你有多个不同 Python 版本的项目,在 pipenv lock文件中会出现冲突.miniconda 则是在 create 命令中指...原创 2020-04-15 21:17:50 · 473 阅读 · 0 评论 -
淘宝模拟请求的坑
前言最近在搞淘宝模拟请求,上次把请求的加密参数搞定,所以接着把整个流程搞完.坑sign坑sign中签名参数c.data千万不能用json序列化.因为签名的顺序是固定的,用json将字典序列化后是顺序是随机的.page坑page=1请求在url中是字符串,page=2请求在url中是数字.真是巨坑,调试了好久.cookie坑没有登录时,只能获取page=1的商品数据.无法获...原创 2020-04-01 11:52:31 · 3908 阅读 · 6 评论 -
淘宝店铺商品全量爬取
场景1.获取淘宝某个店铺下商品价格和销量逆向思路分析1.在店铺首页点击宝贝栏目,打开调试,发现 https://h5api.m.taobao.com/h5/mtop.taobao.wsearch.appsearch/1.0/这个接口.返回json数据格式,里面包含了商品价格和销量.2.再仔细看接口,发现做了加密jsv: 2.5.1appKey: 12574478t: 15851...原创 2020-03-25 10:44:01 · 3086 阅读 · 2 评论 -
uwsgi socket 队列溢出
原因1.uwsgi 默认队列是128.解决方法一:vi /etc/sysctl.confsysctl -porsysctl -w net.core.somaxconn=1024方法二:threads: 111 在配置文件注释这个 uwsgi的参数只使用进程方法三:推荐如果是用 docker 部署,运行时添加 --sysctl net.core.somaxconn=409...原创 2019-11-25 14:45:38 · 363 阅读 · 0 评论 -
python APScheduler简易教程
APScheduler说明:APScheduler是基于Quartz的一个Python定时任务框架,实现了Quartz的所有功能,使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务,并且可以持久化任务。基于这些功能,我们可以很方便的实现一个python定时任务系统。cron定时调度(某一定时时刻执行)interval 间隔调度(每隔多久执行)date 定时调度...原创 2019-10-28 17:12:55 · 669 阅读 · 0 评论 -
python Sqlalchemy简易教程
https://blog.csdn.net/counsellor/article/details/60139569https://blog.csdn.net/kaku21/article/details/42741595https://www.cnblogs.com/yaohan/p/6283856.htmlhttps://blog.csdn.net/liukeforever/articl...原创 2019-09-20 15:36:06 · 153 阅读 · 0 评论 -
Python 封装log类,实现字体颜色控制.
介绍写这个类的初衷是想自己控制日志,找了许多现成的库,发现问题都很多.loguru比较好实用,但是发现无法异步调用.一旦异步调用,会导致日志信息记录混乱.dome优点线程安全.颜色可配置.代码逻辑明了,容易再加工.缺点功能不完善,邮件,钉钉等发送没配置.__get_log_path这个模块要手动配置项目路径.import loggingclass Loggers...原创 2019-09-20 10:54:29 · 1375 阅读 · 0 评论