收集整理了一份《2024年最新Python全套学习资料》免费送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Python知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来
如果你需要这些资料,可以添加V无偿获取:hxbc188 (备注666)
正文
我们使用浏览器的开发者工具对页面结构进行简单分析。
我们在 StoreList 页面中能找到我们所需的数据。这个能确定数据提取的 Xpath 语法。
StoreList 页面的 Response 内容比较长。我们先不着急关闭页面,往下看看,找找看是否有其他可利用的内容。最后,我们找到调用获取餐厅列表信息的 JavaScript 函数代码。
我们接着搜索下GetStoreList
函数,看看浏览器如何获取餐厅列表信息的。
从代码中,我们可以了解到页面使用 Ajax 方式来获取数据。页面以 POST 方式请求地址http://www.pizzahut.com.cn/StoreList/Index
。同时,请求还携带参数 pageIndex 和 pageSize。
03 爬取思路
经过一番页面结构分析之后,我们指定爬取思路。首先,我们先获取城市信息。然后将其作为参数,构建 HTTP 请求访问必胜客服务器来获取当前城市中所有餐厅数据。
为了方便数据爬取,我将所有城市全部写入到 cities.txt 中。等要爬取数据时,我们再从文件中读取城市信息。
爬取思路看起来没有错,但是还是有个难题没有搞定。我们每次打开必胜客的官网,页面每次都会自动定位到我们所在的城市。如果无法破解城市定位问题,我们只能抓取一个城市数据。
于是乎,我们再次浏览首页,看看能不能找到一些可用的信息。最终,我们发现页面的 cookies 中有个 iplocation 字段。我将其进行 Url 解码,得到 深圳|0|0 这样的信息。
看到这信息,我恍然大悟。原来必胜客网站根据我们的 IP 地址来设置初始城市信息。如果我们能伪造出 iplocation 字段信息,那就可以随便修改城市了。
04 代码实现
第一步是从文件中读取城市信息。
# 全国有必胜客餐厅的城市, 我将城市放到文件中, 一共 380 个城市
cities = []
def get_cities():
""" 从文件中获取城市 """ file_name = 'cities.txt'
with open(file_name, 'r', encoding='UTF-8-sig') as file:
for line in file:
city = line.replace('\n', '')
cities.append(city)
第二步是依次遍历 cities 列表,将每个城市作为参数,构造 Cookies 的 iplocation 字段。
# 依次遍历所有城市的餐厅
for city in cities:
restaurants = get_stores(city, count)
results[city] = restaurants
count += 1
time.sleep(2)
然后,我们再以 POST 方式携带 Cookie 去请求必胜客服务器。最后再对返回页面数据进行提取。
def get_stores(city, count):
""" 根据城市获取餐厅信息 """
session = requests.Session()
# 对【城市|0|0】进行 Url 编码
city_urlencode = quote(city + '|0|0')
# 用来存储首页的 cookies
cookies = requests.cookies.RequestsCookieJar()
headers = {
'User-agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3964.2 Safari/537.36',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Host': 'www.pizzahut.com.cn',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
}
print('============第', count, '个城市:', city, '============')
resp_from_index = session.get('http://www.pizzahut.com.cn/', headers=headers)
# print(resp_from_index.cookies)
# 然后将原来 cookies 的 iplocation 字段,设置自己想要抓取城市。
cookies.set('AlteonP', resp_from_index.cookies['AlteonP'], domain='www.pizzahut.com.cn')
cookies.set('iplocation', city_urlencode, domain='www.pizzahut.com.cn')
### 一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)
### 二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。
![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)
### 三、入门学习视频
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。
![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**如果你需要这些资料,可以添加V无偿获取:hxbc188 (备注666)**
![img](https://img-blog.csdnimg.cn/img_convert/df4947d8436d0ec0151ae5d4f48aa56a.png)
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
资料,可以添加V无偿获取:hxbc188 (备注666)**
[外链图片转存中...(img-gVIJVnyj-1713858853880)]
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**