爬虫逆向-爬虫基础实战

"""
什么是爬虫:通过编写程序获取互联网资源
"""
from urllib.request import urlopen

"""
使用的开发工具:
python 解释器
pycharm
"""
"""
第一个爬虫的开发
"""
url = "http://www.baidu.com"
resp = urlopen(url)
# 获取页面源代码
# print(resp.read().decode("utf-8"))
with open("baidu.html", mode="w", encoding="utf-8") as f:
    f.write(resp.read().decode("utf-8"))

"""
web请求全过程
"""
"""
两种
一种是直接返回html
一种是直接请求返回html
然后再发送请求请求获取数据,结合html
"""
"""
浏览器工具的使用
"""

"""
协议了解
"""
"""
请求行: 请求方式 (get/post) 请求url地址 协议
请求头 放一些服务器要使用的附加信息
请求体 请求参数

状态行 协议 状态码
响应头 放一些客户端要使用的一些附加信息  cookie 解密的key
响应体 服务器返回的真正客户端要用的内容(html,json)
"""

"""
请求头中最常见的一些重要内容
User-Agent 请求载体的身份标识
Referer 防盗链(请求从哪个页面来的)
cookie:用户登录信息
"""

"""
响应头中的一些重要的内容
cookie;本地字符串数据信息(用户登录信息, 反爬的token)
"""

"""
requests安装和使用
pip install requests 下载
"""
import requests

"""
爬取百度的页面源代码
"""
url = "http://www.baidu.com"
resp = requests.get(url)
resp.encoding = "utf-8"
print(resp.text)

"""
requests实战
"""
import requests

content = input("请输入你要检索的内容")
url = f"http://www.google.com/search?client=firefox-b-d&q={content}"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/117.0"}
resp = requests.get(url)
with open("demo.html", mode="w", encoding="utf-8") as f:
    f.write(resp.text)

"""
requests  post请求
"""
import requests
import urllib3

url = "https://fanyi.baidu.com/sug"
hehe = {"kw": input("请输入一个单词")}
urllib3.disable_warnings()
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/117.0"}
resp = requests.post(url, data=hehe, headers=headers, verify=False)
print(resp.status_code)
print(resp.json())

"""
requests get请求多参数处理

"""
import requests

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/117.0"}
url = "https://movie.douban.com/j/chart/top_list"
params = {
    'type': ['13'],
    'interval_id': ['100:90'],
    'action': [''],
    'start': ['0'],
    'limit': ['20']
}
resp = requests.get(url, params=params, headers=headers)
print(resp.json())