PYTHON
木桥的博客
专注于PYTHON,PHP,Myql,Nosql,前端等知识的分享。
展开
-
破解滑动验证码,成功率在百分之九十九
破解滑动验证码使用python破解滑动验证码后获取cookie, 用于爬取数据,这里是获取到cookie存到redis,不费话了,上代码import reimport redisfrom selenium.webdriver.chrome.options import Options#from urllib.request import urlretrievefrom PIL import Imagefrom selenium.webdriver.common.action_chains im原创 2021-12-18 18:13:30 · 906 阅读 · 0 评论 -
异步爬虫的原理和解析二
异步爬虫的原理和解析二文章目录aiohttp一、基本使用二、URL 参数设置三、其他请求类型四、响应字段五、超时设置六、并发限制总结aiohttpaiohttp 是一个基于 asyncio 的异步 HTTP 网络模块,它既提供了服务端,又提供了客户端。其中我们用服务端可以搭建一个支持异步处理的服务器,用于处理请求并返回响应,类似于 Django、Flask、Tornado 等一些 Web 服务器。而客户端我们就可以用来发起请求,就类似于 requests 来发起一个 HTTP 请求然后获得响应,但原创 2020-12-28 20:32:16 · 352 阅读 · 0 评论 -
异步爬虫的原理和解析一
异步爬虫的原理和解析爬虫是 IO 密集型任务,比如如果我们使用 requests 库来爬取某个站点的话,发出一个请求之后,程序必须要等待网站返回响应之后才能接着运行,而在等待响应的过程中,整个爬虫程序是一直在等待的,实际上没有做任何的事情。查看下面示例import requestsimport logging #import timelogging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s:%(messa原创 2020-12-20 23:50:14 · 1578 阅读 · 3 评论 -
python获取12306网站车票信息
接上一篇文章用QT制作了爬票的gui程序后,接下来实现抓取相关数据展示在gui程序中。在完成功能前先说下python 爬虫经常用到的知识点import urllib.parse #urllib库为python3自带的库,无须安装import urllib.request import urllib3 #需要python3中使用pip install urllib3 进行安装import requestsfrom requests.exceptions import ReadTimeout,HTT原创 2020-11-19 11:19:26 · 943 阅读 · 3 评论 -
Pycharm安装Qt Design快捷工具
在使用Python开发Gui程序可以使用Qt Design工具进行界面设计,下面记录在Pycharm中设置Qt Design快捷工具和如何把Qt Design中图形化的ui界面文件转化成py文件步骤一:1、Qt_Designer 快捷工具名称2、(填写Qt安装的路径 designer.exe)3、ProjectFileDirProjectFileDirProjectFileDir1、PyUIC 快捷工具名称2、python的安装目录3、-m PyQt5.uic.pyuic FileName原创 2020-11-18 00:08:11 · 652 阅读 · 4 评论 -
Python实现Web静态服务器
Python实现Web静态服务器在互联网发展的早期很多网站都是静态网站,也就是说只有一个静态页面,例如下图的中国黄页就是一个静态页面,没有任何互动效果。下图介绍的是客户端向服务器发起请求的过程,因这篇文章介绍的是静态服务器所以重点说下服务器部份,当客户端发起请求服务器根据请求的内容来读取HTML文件,读取后服务器将响应体和响应头拼接其做为一个整体,将这个整体统一返回给客户端,用户在客户端的浏览器看到的内容就是服务器HTML文件的内容。在实现静态服务器之前先介绍下预备识知Socket套接字,sock原创 2020-11-17 19:03:02 · 499 阅读 · 0 评论