python爬虫—dota2上分ing...

wtfwtf1

于 2018-08-31 19:29:15 发布

阅读量1k

点赞数 3

本文链接：https://blog.csdn.net/wtfwtf1/article/details/82260860

版权

本文介绍了如何使用Python爬虫获取Dota2英雄的胜率和出场次数信息，并进行初步的数据存储和分析。通过Scrapy框架创建项目，利用正则表达式提取网页数据，然后在pipelines中处理并存储到dotaitems.json文件。尽管发现胜率和出场次数之间似乎没有直接关系，但高胜率英雄通常更受欢迎，而某些英雄如TF因其独特性受到玩家喜爱。

摘要由CSDN通过智能技术生成

这是max+上一张英雄胜率图
如图是在max+dota2中截取的一种图片
那么我们怎么获取图片中的信息并加以利用呢？
1.编辑定向获取该网页的爬虫，获得上面的“姓名”“胜率”“使用次数”的信息
新建爬虫项目dotaitems:
新建后的scrapy基本框架就是这样子

分别说一下几个部分：
item.py相当于爬取到数据的容器；
name=scrapy.Field()
frequency=scrapy.Field()
wr=scrapy.Field()#win rate
settings是配置文件，需要修改的地方不多；（pipelines默认是关闭的，要打开）
ITEM_PIPELINES = {
‘dotaitems.pipelines.DotaitemsPipeline’: 300,
}