Python爬虫系列（四）（简单）Dota排行榜爬取，并存入Excel表格

在编写Python程序的时候，有很多库供我们选择，如urllib、requests，BeautifulSoup，lxml，正则表达式等等，使得我们在获取网页源代码或者选择元素的时候很方便，但是库多了，自己纠结症也犯了。。。额。自己今天爬的是对战平台的DOTA排行榜（ps:我在简书看到的一个评论，关于这个网站的，索性自己爬下了-_-），巩固下知识吧。

排行榜

1、分析网站

打开开发者工具，我们观察到排行榜的数据并没有在doc里

doc文档

在Javascript里我么可以看到下面代码：

ajax的post方法异步请求数据

在 XHR一栏里，我们找到所请求的数据

json存储的数据

请求字段为：

post请求字段

2、伪装浏览器，并将json数据存入excel里面

获取玩家信息

将数据保存到excel中

3、结果展示

保存的数据

4、总结

在掌握一些基本的爬虫知识之后，自己想做一些爬虫进阶的实战项目，比如使用一些框架（scrapy、pyspider等）、还有使用代理池等等。还有很多知识要学习自己加油吧。