如何通过百度自带的json接口快速抓取网站链接？

有很多朋友在抓取百度内容的时候仅需要搜索结果中的链接，那么这个时候问题就来了，如果是正常抓取百度URL的话抓回来的是一个快照缓存链接，并不是我们想要的那个URL。

这里百度提供了一个json的接口，通过这个接口可以直接抓取网站的实际页面链接，一起来看

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rn=50&tn=json&wd=site:www.814.net.cn

通过tn这个URL参数来选择json数据格式，下面我就抓取一下这个课程资源网的搜索结果，看看能抓到都是URL

import re
import requests


def result():
    url = 'www.814.net.cn'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0'}
    query = f'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rn=50&tn=json&wd=site:{url}'
    r = requests.get(query, headers=headers).json()
    link = r.get('feed').get('entry')
    urls = []
    for i in link:
        siteurl = i.get('url')
        urls.append(siteurl)
    return urls


if __name__ == '__main__':
    urls = result()
    for i in urls:
        print(i)

 

这个是我用到的一个小工具，输入一个域名可以抓取前50名的url链接，如果需要更多搜索结果可以通过pn参数来实现