每天一个小Demo-Python爬虫网页连接的抓取

今天的Demo假设我们想把一个网页中所有的链接地址提取出来。

比如，要获取"https://www.jianshu.com/"网页上的所有链接，我们可以通过如下程序实现：

import re
import urllib.request
import urllib.error

def get_link(url):
    #伪装成浏览器,在浏览器调试模式下可得到信息，例子为QQ浏览器
    headers = ("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400")
    #创建opener对象
    opener = urllib.request.build_opener()
    #加入头部信息
    opener.addheaders = [headers]
    #将opener安装为全局变量
    urllib.request.install_opener(opener)
    #打开网页并读取信息
    html_info = urllib.request.urlopen(url).read()
    #转换为字符串
    html_info = str(html_info)
    #根据需求构建好链接表达式，过滤所需的网址信息
    pat = '(https?://[^\s)";]+\.(\w|/)*)'
    link = re.compile(pat).findall(html_info)
    # 去除重复元素
    link = list(set(link))
    return link
#要爬取的网页链接
url = "https://www.jianshu.com/"
#获取对应网页中包含的链接地址
link_list = get_link(url)
#通过for循环分别遍历输出获取到的链接地址到屏幕上
for link in link_list:
    #link为一个元组
    print(link)
    #提取link的第一个元素
    print(link[0])

其实连接和图片的抓取原理都是相同的，只不过在于信息的提取，正则表达式的编写。