小白学python爬虫1

"""
爬虫：通过编写程序来获取互联网上的资源
需求：用程序模拟浏览器，输入一个网址，从该网址获取到资源或者内容
"""

# from urllib.request import urlopen  # url网址
#
# url = "http://www.baidu.com"
# resp = urlopen(url)
#
# # print(resp.read().decode("utf-8"))  # 字节转字符串  解码用什么可以先print然后找解码
# with open("mybaidu.html", mode="w") as f:
#     f.write(resp.read().decode("utf-8"))  # 读取到网页的页面源代码
# print('over')

"""
web请求全剖析
1、服务器渲染：在服务器那边直接把html和数据整合在一起，统一返回给浏览器
    在页面源代码中能看到数据
2、客户端渲染：第一次请求只要一个html骨架，第二次请求拿到数据，进行数据展示
    在页码源代码中看不到数据
    
熟练使用浏览器抓包工具

协议：就是两个计算机之间为了能偶流畅的进行沟通而设置的一个君子协议
User-Agent:请求载体的身份标识（用啥发送的请求）

请求方式：GET:查询网站  显示提交
        POST:对服务器数据更改  隐式提交
"""
# 安装request
# pip install requests
# 国内源：
# pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
#下载的时候又遇上一个问题，下载不了，后面发现是下载的python版本过低，去官网重新下载了3.8的就好啦，然后再pycharm中点击右下角有个python版本号的地方点击编辑更改成3.8就行了
query = input("请输入你喜欢的明星")

import requests
url = f'https://cn.bing.com/search?q={query}'

headers = {
    "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0"
}

#这里遇到一个问题，我用的浏览器是微软浏览器，找不到user-agent，虽然可以不改直接用，但我还是想找一下：就这样就能找到啦

resp = requests.get(url, headers=headers)
print(resp)  # <Response [200]>
print(resp.text)  # 拿到页面源代码