爬取微博搜索关键字标题

最新推荐文章于 2024-03-08 17:42:15 发布

夜逍尘

最新推荐文章于 2024-03-08 17:42:15 发布

阅读量765

点赞数 2

分类专栏： python爬虫文章标签：微博爬虫 python python爬虫 xpath

本文链接：https://blog.csdn.net/weixin_50589453/article/details/116009827

版权

目标：爬取微博文章搜索标题

步骤：

1.加载模块

import requests
from lxml import etree
from urllib import parse
from fake_useragent import UserAgent

2.设置爬虫参数

url

t = input('请输入你要搜索的关键词')
    a = parse.quote(t)  # 文字转16进制

    for i in range(5):
        url = f'https://s.weibo.com/article?q={a}&Refer=weibo_article&page={i+1}'  # 传入关键字已及页数

headers

self.headers = {
     # 设置headers
            'User-Agent': UserAgent().random,
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
            'Accept-Language': 'zh-CN,zh;q=0.9',