从微博搜索相关话题下的所有热门博文链接

从微博搜索相关话题下的所有热门博文链接

感谢eastmountyxz的思路指导，中国必胜！原github链接：

https://github.com/eastmountyxz/Wuhan-data-analysis

整个过程分为如下几步

1. 获取话题页所有话题的链接

我们打开chrome浏览器，选择检查模式，然后登录移动版微博，链接如下：

https://m.weibo.cn/

然后在搜索框内输入我们想要搜索的内容，比如我这里想搜索“东风快递”的相关话题

我们搜索结果的默认显示为‘综合’，所以我们要先找到‘话题页’，然后点击进去，就能看到所有的相关话题了
这时候我们来看检查列表里Network栏里的XHR部分，根据Waterfall找到最新的type为xhr的getindex，我们将其记为title_url，它的值拷贝下来就是

https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D38%26q%3D%E4%B8%9C%E9%A3%8E%E5%BF%AB%E9%80%92%26t%3D0&page_type=searchall

Tips：如果点开`XHR`之后什么都没有，则重新加载页面，点开“热门”标签页 我们点击这个之后会出现`preview`界面，就像这样 我们心心念念的话题的链接就在`card_group`里每一个序号里的`scheme`里啦，那我们怎么用程序的手段提取出来所有话题的链接呢？ 这样儿：

headers = {"User-Agent": UserAgent().chrome}  # chrome浏览器随机代理
    time.sleep(2)
    # 自己从网上抓取想要遍历的话题的搜索网址
    title_url = 'https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D38%26q%3D%E4%B8%9C%E9%A3%8E%E5%BF%AB%E9%80%92%26t%3D0&page_type=searchall'
    
    rep1 = requests.get(url=title_url, headers=headers)
    k = 0
    url_ls=[]

    # api_url:话题页中所有相关话题的链接，存到url_ls中
    for title in rep1.json()['data']['cards']:
        for cards in title['card_group']:
            k = k + 1
            api_url = cards['scheme'].replace('search','api/container/getIndex', 1)
            #print(api_url)
            url_ls.append(api_url)

注意：直接抓出来的scheme是不能作为链接打开的，需要进行一些改写

api_url = cards['scheme'].replace('search','api/container/getIndex', 1)

2.获得话题下‘热门’栏目的链接

我们随便打开一个话题，发现它的默认栏目仍然是‘综合’，但我们想获取的是‘热门’栏目里的，所以我们就要从‘综合’栏目里找到‘热门’栏目的链接

仍然是找到getindex，打开preview视图

小样儿藏挺深！话不多说，提取出来！

for url in url_ls:
	z_url = str(url)+'&page_type=searchall'
    z_rep = requests.get(url=z_url, headers=headers)
    r_url = z_rep.json()['data']['cardlistInfo']['cardlist_head_cards'][1]['channel_list'][2]['scheme']
    r_url = r_url.replace('sinaweibo://selectchannel','https://m.weibo.cn/api/container/getIndex',1)

url_ls是我们刚刚获得的各个话题的url的列表
我们同样发现直接得到的scheme是不能直接作为链接的，需要一点点小改动

r_url = r_url.replace('sinaweibo://selectchannel','https://m.weibo.cn/api/container/getIndex',1)

3.获得每条博文的ID并组合成博文链接

第一步，打开‘热门’栏目
第二步，找到最新的getindex，打开它的preview视图找到目标

提取并结合：

for page in range(1, 5):  # 这是控制刷新多少页
	w_url = str(r_url)+'&page_type=searchall&page='+str(page)
    rep = requests.get(url=w_url, headers=headers)
        for json in rep.json()['data']['cards']:
            if json['card_type'] == 9:
            	comment_url = 'https://m.weibo.cn/detail/' + json['mblog']['id']
                comment_urls.append(comment_url)

注意：card_type为9的意思是原创的博文在此页的显示格式

代码链接：https://github.com/Luyzr/weibo_spider.git