- 博客(6)
- 收藏
- 关注
原创 python测验
联系:任何一个函数都有prototype属性,它本身是一个对象,称之为原型、构造函数也是函数,也有prototype属性,构造函数中原型对象上的属性和方法,都可以被实例化对象所继承,任何一个对象都有constructor属性,实例化对象的constructor属性指向构造函数,原型也是对象,也有constructor属性,构造函数的原型的constructor属性指向构造函数,任何一个对象都有__proto__属性,它是一个指针,实例化对象的__proto__指向构造函数的原型。
2024-05-16 20:00:54
602
原创 Scrapy框架——Downloader Middleware
新建了一个 Scrapy 项目,名为 scrapydownloadertest。pass修改 start_urls 为:[‘’]。随后将 parse() 方法添加一行日志输出,将 response 变量的 text 属性输出,这样我们便可以看到 Scrapy 发送的 Request 信息了。运行后,显示发送的 Request 信息q=0.9,*/*;q=0.8",},Scrapy 发送的 Request 使用的 User-Agent 是 Scrapy/1.4.0(+
2024-04-19 16:04:17
934
1
原创 Python异步爬虫进阶——异步爬虫的实现
本文为学习笔记,部分内容为老师所写,非纯原创要实现异步处理,得先要有挂起的操作(把需要等的操作先挂起来存档,存完档先去执行别的操作),当一个任务需要等待 IO 结果的时候,可以挂起当前任务,转而去执行其他任务,这样才能充分利用好资源,要实现异步,需要了解一下 await 的用法,使用 await 可以将耗时等待的操作挂起,让出控制权。当协程执行的时候遇到 await,时间循环就会将本协程挂起,转而去执行别的协程,直到其他的协程挂起或执行完毕。一个原生coroutine对象。一个由。
2024-04-13 19:27:37
541
原创 DrissionPage终极神器
这三个软件都是用python代码打开浏览器去执行操作。Selenium:不支持异步操作,打开网站后变量可能和人操作时不一样,不防检测,易被封。Pyppepteer:绕过接口加密,直接访问获取网站信息,支持异步,有js脚本可以修改可能被检测的变量。DrissionPage:比Pyppepteer多功能,很多大网站Pyppepteer已经不行了。
2024-04-13 19:11:59
1716
1
原创 Python异步爬虫进阶——协程的用法
爬虫是 IO 密集型任务(输入input/输出output),比如我们使用 requests 库来爬取某个站点的话,发出一个请求之后,程序必须要等待网站返回响应之后才能接着运行(请求出去了得等它回来),而在等待响应的过程中,整个爬虫程序是一直在等待的,实际上没有做任何的事情。因此,有必要提高程序的运行效率,异步就是其中有效的一种方法。
2024-04-09 21:14:56
1047
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人