基于搜狗微信爬取微信公众号的文章

最新推荐文章于 2024-10-09 17:23:38 发布

置顶

lucaszy

最新推荐文章于 2024-10-09 17:23:38 发布

阅读量1.8k

点赞数 2

分类专栏： Python数据爬取文章标签： python 数据分析

本文链接：https://blog.csdn.net/lucaszy/article/details/106458821

版权

1. 引入模块和函数


from requests_html import HTMLSession
from urllib.parse import urlparse, parse_qs
import pprint
import time,datetime
import pandas as pd
from random import  random

2.页面爬取代码

def sogou_weixin(url,params):
    r = session.get(url, params = payload)
    # 先取特定元素, 精准打击其子后辈
    主要元素 =r.html.xpath('//div[@class="news-box"]/ul[@class="news-list"]/li')
    dict_xpath={
         'text_content':{
             '标题':'//div[@class="txt-box"]/h3/a',
             '内容':'//div[@class="txt-box"]/p',
#              '公众号名称':'//div[@class="txt-box"]/div[@class="s-p"]/a'

         },
        'href':{
            '文章链接':'//div[@class="txt-box"]/h3/a',