Python爬虫入门到入狱---第一天_python从入门到入狱-CSDN博客

本文链接：https://blog.csdn.net/qq_52416556/article/details/124087852

在使用之前我们需要了解的是urllib库是什么？
首先urllib是Python自带的标准库，无需安装，可以直接使用。如果想系统性的学习urllib库，可以直接看它的官方文档。
其分为四个大的模块，分别是：

今天我们就使用urllib.request 请求模块简单爬取http://www.baidu.com
的源码

爬取百度首页的源码大概可以分为五步骤：

import urllib.request

url = 'http://www.baidu.com'

response = urllib.request.urlopen(url)

content = response.read().decode('utf-8')
#content 内容的意思
#read方法  返回的是字节形式的二进制数据
#我们要将二进制的数据转换为字符串 
#二进制--》字符串  解码  decode('编码的格式')变成utf-8

如果不转码会打印出不同的结果，待会让我们来瞧一瞧吧

print(content)

让我们运行一下瞧一瞧吧

屏幕截图 2022-01-25 194933.png

如果不加decode()会有什么情况发生，让我们瞧一瞧吧

屏幕截图 2022-01-25 201555.png

学会简单使用urllib库爬取http://www.baidu.com 之后，让我们来了解一下
urrlib一些其他基础知识吧

import urllib.request

url = 'http://www.baidu.com'

# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)

1. 一个类型

print(type(response))

屏幕截图 2022-01-25 203850.png

2. 六个方法

content = response.read()
print(content)

屏幕截图 2022-01-25 203924.png

#返回5个字节的内容
content = response.read(5)
 print(content)

屏幕截图 2022-01-25 203956.png

content = response.readline()
print(content)

屏幕截图 2022-01-25 204850.png

content = response.readlines()
print(content)

屏幕截图 2022-01-25 205210.png

print(response.getcode())

屏幕截图 2022-01-25 205258.png

print(response.geturl())

屏幕截图 2022-01-25 205318.png

print(response.getheaders())

屏幕截图 2022-01-25 205417.png

Python爬虫入门到入狱---第一天