weixin_43904840的博客

原创 python爬虫爬取百度贴吧帖子

工具是scrapy和beautifulsoup。待创建目录下cmd，输入scrapy genspider spider_name 'spider_url’创建新爬虫。用pycharm打开爬虫根目录，在spider文件夹里找到spider.py，在里面编写爬虫程序。因为前段时间很喜欢玩csgo，所以选择爬取csgo贴吧的帖子。最多爬取10页。爬虫的主函数是parse：import scra...