python爬取微博文本

最新推荐文章于 2023-12-09 09:49:40 发布

cyincy

最新推荐文章于 2023-12-09 09:49:40 发布

阅读量1k

点赞数 1

本文链接：https://blog.csdn.net/cyincy/article/details/105652948

版权

本文介绍如何使用Python进行微博文本的爬取，包括解析网页结构、设置请求参数、处理反爬机制等步骤，带你深入理解网络爬虫的基本流程和技术要点。

摘要由CSDN通过智能技术生成

#! usr/bin/python
# -*- coding=utf-8 -*-
from urllib.parse import urlencode
import requests
from pyquery import PyQuery as pq
import pandas as pd
base_url='https://m.weibo.cn/api/container/getIndex?'
headers={
   
    'Host':'m.weibo.cn',
    'Referer':'https://m.weibo.cn/u/xxx',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36',
    'X-Requested-With':'XMLHttpRequest'
}
def get_page(since_id):
    params={
   'uid':'xxx',#随需更改
        't':'0',
        'luicode':'xxx',
        'type'