Python3 爬虫 1 - 下载网页

爬虫的第一步需要将网页下载下来，下面介绍下载网页内容的方法。

download函数

import urllib.request ## Python2与Python3的区别

def download(url):
    req = urllib.request.Request(url)
    response = urllib.request.urlopen(req)

    return response.read()

url = "http://example.webscraping.com/"
html = download(url)

print(html)

这样运行的结果是直接输出一大堆

我是直接使用Python3自带的IDLE写的程序，输出结果的时候经常卡死，所以可以选择将爬取下来的内容写入文件中，这样速度会快很多。

## 将结果写入到文件的改进版本，适用于英文网站
import urllib.request

def download(url):