每到夜深人静的时候,小编就开始肚子饿了,这时如果你在不熟悉的城市,想知道附近有没有KFC店应该怎么办呢?下面羽忆教程教你会python爬取全国范围内的KFC店地址,这是一篇python爬虫系列的教程,简单又能让人填饱肚子。
python爬虫介绍
python发展至今,python爬虫已经成为了一种职业,因为其可以帮助企业快速得到网络上的最新信息,但是为什么很多写python爬虫的程序员会面临牢狱之灾呢?那是因为其触犯了以下几种情况:
1、用python爬虫爬取了商业数据并造成不正当竞争;
2、用python爬虫爬取用户个人信息,并进行非法牟利,包括模拟登录他人账号;
3、爬取了大量有知识版权的信息并将其进行商业用途;
4、违反网站robots协议,对robots禁止的网站信息进行爬取等等。
用python爬虫爬取全国范围内的KFC店地址
以上是小编为你简单介绍的关于python爬虫的一些信息,而下面小编为你介绍如何用python爬取全国范围内的KFC店地址,当然,这个项目是合法的。下面为你介绍其详细步骤:
1、先导入Python网络请求模块urllib和requests,详细代码如下:
import urllib.requestimport urllib.parsefrom lxml import etreeimport requests
2、通过input函数让用户输入想要查询的城市和页数,并以此进行条件筛选,详细代码送上:
str1=input('请输入你想要查询的城市:')a=int(input('请输入你想要查询的页数'))
3、通过模拟用户登录,根据第二步输入的城市和页数查询到所在城市的KFC店地址并返回数据,以下是代码:
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'}data={ 'cname':str1,'pid': '' ,'pageIndex':a,'pageSize':'10',}data=urllib.parse.urlencode(data).encode()request=urllib.request.Request(url=url,headers=header)response=urllib.request.urlopen(request,data)print(response.read().decode())
以上就是羽忆教程为你介绍的如何用python爬取全国范围内的KFC店的相关教程,如果你想直接获得完整代码可以关注小编后私信回复关键词“20191229”获得。