爬虫学习笔记五-----urllib

指定URL,用于获取网业务数据-----------给网页就能爬

urlopen:使用urlopen这个方法将响应的网页封装成对象,即向网站发起请求并获取响应

import urllib.request,urllib.error    #指定URL,用于获取网业务数据-----------给网页就能爬


response = urllib.request.urlopen('https://www.baidu.com/')#使用urlopen这个方法将响应的网页封装成对象
print(response.read().decode('utf-8'))#将网页中的源码进行

正常情况下需要对请求的网站进行封装

import urllib.request,urllib.error    #指定URL,用于获取网业务数据-----------给网页就能爬
import urllib.parse#好像是一个解析器
# 这部分代码就是模拟浏览器发出请求，例如用户登录
# 按照UTF-8的形式封装成一个对象,urlencode这里的作用是将字典类型转变成字符串类型
data =bytes(urllib.parse.urlencode({"hello":"world"}),encoding="UTF-8")#bytes将数据转换成二进制的，所以这个data是包含一些二进制的信息 ，比如说在字符型数据外面加个int，就是转换成整型
response = urllib.request.urlopen('http://httpbin.org/post',data=data)#data里面必须是bytes
print(response.read().decode('utf-8'))#将网页中的源码进行

 超时处理：有的时候，有些网页不好爬，需要放过

import urllib.request,urllib.error    #指定URL,用于获取网业务数据-----------给网页就能爬
import urllib.parse#好像是一个解析器
try:
    response = urllib.request.urlopen('https://douban.com/')
    print(response.read().decode('utf-8'))#将网页中的源码进行
except Exception as e:
    print('这个网页不好爬，要暂时放过')
    print(e)

 有的时候需需要进行伪装，所以需要伪装自己的请求头

import urllib.request,urllib.error    #指定URL,用于获取网业务数据-----------给网页就能爬
import urllib.parse#好像是一个解析器
url = "https://douban.com/"
#response = urllib.request.urlopen(url = url)不要直接通过程序向网页发送请求，非常容易被服务器发现你是一个爬虫
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36",
    "X-Amzn-Trace-Id": "Root=1-61a1e405-2893b8dd3565445510b1951f"
}
req =urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(req)

print(response.read().decode("utf-8"))