python爬虫编程100例_经典Python爬虫例子，Python多线程爬虫例子案例

本帖最后由 huguo002 于 2020-5-15 20:13 编辑

很久没写爬虫了，一个经典的Python爬虫例子，Python多线程爬虫例子案例，目标网站结构比较简单，适合练手使用，采用了经典的生产者和消费者模式，同时结合python类和装饰器的使用，应该能够让你获益不少。

目标网站.png (566.26 KB, 下载次数: 0)

2020-5-15 20:10 上传

2.@property 装饰器既要保护类的封装特性，又要让开发者可以使用“对象.属性”的方式操作操作类属性，除了使用 property() 函数，Python 还提供了 @property 装饰器。

通过 @property 装饰器，可以直接通过方法名来访问方法，不需要在方法名后添加一对“（）”小括号。

参考：

3.@staticmethod 静态方法@staticmethod 静态方法只是名义上归属类管理，但是不能使用类变量和实例变量，是类的工具包 放在函数前（该函数不传入self或者cls），所以不能访问类属性和实例属性。

参考：Python进阶-----静态方法（@staticmethod）

4.Queue 队列queue 模块实现多生产者，多消费者队列。当信息必须安全的在多线程之间交换时，它在线程编程中是特别有用的。

此模块中的 Queue 类实现了所有锁定需求的语义。Queue.put(item, block=True, timeout=None) 将item 放入队列。如果可选参数 block 是 true 并且 timeout 是 None (默认)，则在必要时阻塞至有空闲插槽可用。如果 timeout 是个正数，将最多阻塞 timeout 秒，如果在这段时间没有可用的空闲插槽，将引发 Full 异常。

反之 (block 是 false)，如果空闲插槽立即可用，则把 item 放入队列，否则引发 Full 异常 ( 在这种情况下，timeout 将被忽略)。

参考：17.7. queue — 一个同步的队列类

运行三个报错1.Queue 队列，只能接收一个值

报错.png (82.25 KB, 下载次数: 0)

2020-5-15 20:10 上传

2.目录文件名未格式处理，存储路径错误

路径报错.png (44.45 KB, 下载次数: 0)

2020-5-15 20:10