python的基础爬虫案例

将百度页面保存到自己的文件夹中

from urllib.request import urlopen

# 打开百度的url
resp = urlopen("http://www.baidu.com")

with open("baidu.html", mode="w", encoding="utf-8") as f:
    # 保存到文件中
    f.write(resp.read().decode("utf-8"))

这里可能会出现乱码的情况，请注意你的电脑与encoding的参数取值

request包的使用

先进行python包的下载

pip install requests

但是此命令所执行的运行服务器在国外，所以需要清华的镜像源会快一点，阿里的也可以

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

最后进行测试

import requests
query = input("输入你喜欢的一个明星？")
url = f'https://www.baidu.com/s?wd={query}'

header = {
    # 防止被服务器判定为无效访问
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36"
}

resp = requests.get(url, headers=header)

print(resp)
print(resp.text)
resp.close()

其中上述代码是get请求，其中的header中是我电脑的浏览器的一些详细配置，需要更换你们主机的浏览器的配置，通过f12进行寻找你想找网页下的配置

request(post请求）

import requests

url = "https://fanyi.baidu.com/sug"

word = input("请你输入你要翻译的英文单词：")

dat = {
    "kw":word
}

# 发送post请求, 发送的数据必须放在字典中, 通过data参数进行传递
resp = requests.post(url, data=dat)
# 将服务器返回的内容直接处理成json()  => dict
print(resp.json())
resp.close()

爬取花瓣喜剧电影第一页的信息

import requests

url = "https://movie.douban.com/j/chart/top_list"

# 重新封装参数
param = {
    "type": '24',
    "interval_id": "100:90",
    "action": "",
    "start": "0",
    "limit": "20"
}

header = {

    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.42"

}
resp = requests.get(url=url, params=param, headers=header)

print(resp.json())
resp.close()

感谢大家批评指正