08精通Python网络爬虫——链接爬虫实战.md

运行环境Python3.6.4

目的：爬取一个网页中的所有链接

策略：

1）确定好要爬取的入口链接

2）根据需求构建好链接提取的正则表达式

3）模拟成浏览器并爬取对应网页

4）根据2）中的正则表达式提取出该网页中包含的链接

5）过滤掉重复的链接

6）后续操作。比如打印这些链接到屏幕上等

#爬取网页链接
import re
import urllib.request
#自定义函数getlink(url)
def getlink(url):
    #模拟成浏览器
    headers = ("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")
    #使用urllib.request.build_opener()创建自定义的opener对象并赋值给变量opener
    opener = urllib.request.build_opener()
    #设置对应的头信息，格式为："opener对象名.addheaders = [头信息]"
    opener.addheaders = [headers]
    #将opener安装为全局
    urllib.request.install_opener(opener)
    file = urllib.request.urlopen(url)
    data = str(file.read())
    #根据需求构建好链接表达式
    pat = '(https?://[^\s)";]+\.(\w|/)*)'
    link = re.compile(pat).findall(data)
    #去除重复元素
    link = list(set(link))
    return link
#要爬取的网页链接
url = "https://www.csdn.net/"
#获取对应网页中包含的链接地址
linklist = getlink(url)
#通过for循环分别遍历输出获取到的链接地址到屏幕上
for link in linklist:
    print(link[0])