1、先爬一个网页下来看看吧
怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是优美有序的画面,但是其实是由浏览器解释才呈现出来的,实质它是一段HTML代码,加JS、CSS,下面我们就来扒一个网页下来看看。
# python 3
import urllib.request
response = urllib.request.urlopen("https://baidu.com")
print(response.read())
真正的程序就两行,把它保存成 demo.py,进入该文件的目录,执行Python demo.py命令查看运行结果吧。
2.分析扒网页的方法
第一行
response = urllib.request.urlopen("https://baidu.com")
首先我们调用的是urllib库里面的urlopen方法,传入一个URL,这个网址是百度首页,协议是HTTP协议.urlopen一般接受三个参数,它的参数如下:
u