爬虫的简单实现

爬虫的简单实现

1.通过python实现爬虫的重要条件

条件1:python

条件2:pycharm

条件3:安装了requests库

2.网站内数据的查看

1.打开要查看的网站,按F12进入开发者模式.

2.点击网络,通过标头可以查看url,请求方式.

3.点击XHR来进行筛选,选择预览正确的文件进行点击,

4.复制其url,选择请求方法,点击负载,查看其数据格式和数据类型.

3.代码实现请求查看肯德基的门店地址:

1.网址:肯德基官方网站 - Welcome to KFC.com.cn

2.点击最下方的餐厅查询,

3.在网站按F12进入开发者模式,图片展示:

4.代码的实现:

 #使用requests
 import requests
 #设置想要访问的网站地址,网站的地址通过使用F12网络中的请求URL
 url1 = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword"
 address =input("请输入你想要去到的城市:")
 #设置想要访问的数据
 data1 = {"cname": "",
    "pid":"",
     "keyword":address,
    "pageIndex":1,
     "pageSize": 10}
 #获取一个requests的post方法返回后的对象
 resp = requests.post(url=url1,params=data1)
 #由于返回的结果为json格式,所以使用resp.json
 print(resp.json())

5.实现结果: