python
fake_UA
这个作者很懒,什么都没留下…
展开
-
Downloader Middleware
downloader middleware作用:改写请求,如加入代理,加入头部等;处理异常等。# downloadMiddleware举例, 加代理# 这里的类如果已经重新设置名称,记得在settings里面开启的时候改成这个名称class ProxyMiddleware(object): # logging模块负责输出调试信息,记录程序错误等 logger = logging.getLogger(__name__) # process_request如果返回 # 1原创 2020-11-10 16:42:30 · 259 阅读 · 0 评论 -
使用 ffmpeg 合成视频音频
python 使用 ffmpeg 合成视频音频下载ffmpeg.exe在python里安装ffmpeg库def combine(self, dirname, cp_vid, video_file, audio_file, out_file):“”"将视频和音频合成:param video_file: 视频路径:param audio_file: 音频路径:param out_file: 合成后的文件路径:return: 判断标识“”"try:# cmd的执行视频合成命令#原创 2020-10-28 16:31:48 · 954 阅读 · 0 评论 -
滑块验证
需要安装库 cv2pip install opencv python实现过程:1.下载滑块验证check_slide.py# -*- coding: utf-8 -*-from selenium import webdriverimport requestsfrom main import SlideCrackfrom lxml import etreeimport timefrom selenium.webdriver.support.ui import WebDriverWait原创 2020-10-15 00:58:44 · 1236 阅读 · 0 评论 -
redis
MyRedis.pool = redis.ConnectionPool(host=host, port=port, db=r_db)进入redisredis-cls -h ip -p 端口semember id :查看redis集合keys id:查看id 支持正则*原创 2020-09-24 12:52:03 · 190 阅读 · 0 评论 -
随记
linux:crontab定时器的使用crontab -e编辑定时器 -l查看定时器列表tail -f /var/log/cron 监控近期的定时任务hopub python ./1.py >/dev/null 2&1&原创 2020-09-22 20:25:27 · 120 阅读 · 0 评论 -
yaml
"""实例化连接一个数据库""" db_conf = yaml.load(open(ROOT_PATH + '/News/config/db.yaml', 'rb'), Loader=yaml.FullLoader).get(KIS_ENV) host = db_conf.get('host') user = db_conf.get('user') password = db_conf.get('password') port = db_conf.get('p...原创 2020-09-18 11:15:35 · 119 阅读 · 0 评论 -
python 解决gb2313乱码
正常requests请求:response.encoding = response.apparent_encodingstr_res = etree.HTML(response.text)scrapy.Request请求response.body.decode(response.encoding)str_res = etree.HTML(response.text)原创 2020-09-17 16:02:22 · 631 阅读 · 1 评论 -
python request请求gb2313编码的网页乱码
response = requests.get(url, headers=headers)res = response.text.encode(response.encoding)str_res1 = etree.HTML(res.decode(‘gb2312’))能正常使用xpath原创 2020-09-15 19:21:07 · 190 阅读 · 0 评论 -
python标准库
常用的python标准库有哪些模块:os 操作系统模块time 时间模块pickle 序列化模块pymysql 数据库模块threading 线程模块multiprocessing 协程模块queue 队列模块第三方库:django 和 flaskrequestsselenuimscrapylxmlrexadminhashlicmd5virtualenv常用的科学计算库 :Numpy,Scipy,Pandas...原创 2020-09-13 15:55:30 · 112 阅读 · 0 评论