关于Python35爬虫的一些个人想法(我是菜鸟)
最近打算写一个爬虫去爬取招聘网站的招聘信息,在经过一周的Python基本学习后,初步打算使用Python进行爬虫的开发。在初步接触后,本打算使用分布式结构进行爬取作业,但是却在测试过程中,发现一些问题。先贴上我写的测试用例 首先参照了官方文档的例子 Master.py#!/usr/bin/env python3# -*- coding: utf-8 -*-from multiprocessi
原创
2015-12-01 16:33:52 ·
643 阅读 ·
0 评论