python合并多个excel 知乎_Python爬虫开源项目代码,爬取微信、淘宝、豆瓣、知乎、新浪微博、QQ、去哪网等...

Python

爬虫开源项目代码，爬取微信、淘宝、豆瓣、知乎、

新浪微博、

QQ

、去哪网等

作者：

SFLYQ

今天为大家整理了

32

个

Python

爬虫项目。

整理的原因是，爬虫入门简单快速，也非常适合新入门的小

伙伴培养信心。所有链接指向

GitHub

，祝大家玩的愉快

~1

、

WechatSogou [1]

–

微信公众号爬虫。

基于搜狗微信搜索的微

信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回

结果是列表，

每一项均是公众号具体信息字典。

github

地址：

https://github.com/Chyroc/WechatSogou2

、

DouBanSpider [2]

–

豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，

按评分排名依次存储，存储到

Excel

中，可方便大家筛选搜

罗，比如筛选评价人数

>1000

的高分书籍；可依据不同的主

题存储到

Excel

不同的

Sheet

，采用

User Agent

伪装为浏览

器进行爬取，并加入随机延时来更好的模仿浏览器行为，避

免爬虫被封。

github

地址：

https://github.com/lanbing510/DouBanSpider3

、

zhihu_spider [3]

–

知乎爬虫。此项目的功能是爬取知乎用户信息以及人际

拓扑关系，

爬虫框架使用

scrapy

，

数据存储使用

mongogithub

地址：

https://github.com/LiuRoy/zhihu_spider4

、

bilibili-user [4]

–

Bilibili

用户爬虫。总数据数：

20119918

，抓取字段：用

户

id

，昵称，性别，头像，等级，经验值，粉丝数，生日，