python爬虫实践报告_Python网络爬虫（实践篇）

01 快速爬取网页

1.1 urlopen()函数import urllib.request

file=urllib.request.urlopen("http://www.baidu.com")

data=file.read()

fhandle=open("./1.html","wb")

fhandle.write(data)

fhandle.close()

读取内容常见的3种方式，其用法是：

file.read()读取文件的全部内容，并把读取到的内容赋给一个字符串变量

file.readlines()读取文件的全部内容，并把读取到的内容赋给一个列表变量

file.readline()读取文件的一行内容

1.2 urlretrieve()函数

urlretrieve()函数可以直接将对应信息写入本地文件。import urllib.request

filename=urllib.request.urlretrieve("http://edu.51cto.com",filename="./1.html")

# urlretrieve()执行过程中，会产生一些缓存，可以使用urlcleanup()进行清除

urllib.request.urlcleanup()

1.3 urllib中其他常见用法import urllib.request

file=urllib.request.urlopen("http://www.baidu.com")

# 获取与当前环境有关的信息

print(file.info())

# Bdpagetype: 1

# Bdqid: 0xb36679e8000736c1

# Cache-Control: private

# Content-Type: text/html;charset=utf-8

# Date: Sun, 24 May 2020 10:53:30 GMT

# Expires: Sun, 24 May 2020 10:52:53 GMT

# P3p: CP=" OTI DSP COR IVA OUR IND COM "

# P3p: CP=" OTI DSP COR IVA OUR IND COM "

# Server: BWS/1.1

# Set-Cookie: BAIDUID=D5BBF02F4454CBA7D3962001F33E17C6:FG=1; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com

# Set-Cookie: BIDUPSID=D5BBF02F4454CBA7D3962001F33E17C6; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com

# Set-Cookie: PSTM=1590317610; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com

# Set-Cookie: BAIDUID=D5BBF02F4454CBA7FDDF8A87AF5416A6:FG=1; max-age=31536000; expires=Mon, 24-May-21 10:53:30 GMT; domain=.baidu.com; path=/; version=1; comment=bd

# Set-Cookie: BDSVRTM=0; path=/

# Set-Cookie: BD