处理url携带的参数:封装到字典中
keyWord = input(‘CSDN Search KeyWord is :’)
param = {
请求所需的参数,字典类型
‘q’:keyWord
}
response = requests.get(url=searchURL ,params=param)
指定url发起请求是携带参数的,请求时将params中的字典类型数据转换为url中参数
pageText = response.text
爬取到的文本数据
fileName = keyWord + ‘.html’
with open(‘./dataFiles/’+fileName,‘w’,encoding=‘utf-8’) as fp:
fp.write(pageText)
生成以关键字命名的html文件
检查网页可知,百度翻译的请求方式为post,需要用到requests.post()。关键字为data里面的kw。
requests.post(url= ,data= ,headers= )
-
url:请求页面
-
data:关键字,字典类型
-
headers:头信息,字典类型,用于UA伪装
百度翻译
- post请求
- 响应数据是JSON格式
import requests
import json
postURL = ‘https://fanyi.baidu.com/sug’
UA伪装
postHeader = {
‘User-Agent’: ‘来自网页检查’
}
参数处理
data = {
‘kw’: ‘baby’
post请求的参数数据与get一致,与get方法不同的是不显示在地址栏,可以通过检查查看
kw为网址指定的参数名,若修改则发生未知错误
}
发送请求
response = requests.post(url=postURL, data=data, headers=postHeader)
获取响应数据,json格式
dataObj = response.json()
print(dataObj)
存储
jsonFilePath = open(‘./dataFiles/dog.json’, ‘w’, encoding=‘utf-8’)
json.dump(dataObj, fp=jsonFilePath, ensure_ascii=False)
print(‘Over!’)
方法与上面两个案例类似,直接看代码
获取豆瓣电影排行榜信息
import requests
import json
doubanURL = ‘https://movie.douban.com/j/chart/top_list?’
url地址
doubanParam = {
#参数
‘type_name’:‘喜剧’,
‘type’: 24,
‘interval_id’: ‘100:90’,
(1)Python所有方向的学习路线(新版)
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
(2)Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
(3)100多个练手项目
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数初中级Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注:python)
024年Python爬虫全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。**
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注:python)
[外链图片转存中…(img-puOGu4G4-1710878525752)]