爬虫与词云图制作

最新推荐文章于 2024-06-26 14:13:21 发布

肥芊☻

最新推荐文章于 2024-06-26 14:13:21 发布

阅读量647

点赞数 1

文章标签：数据可视化 python 爬虫

本文链接：https://blog.csdn.net/weixin_56371459/article/details/116496197

版权

本文通过Python爬虫获取数据，进行数据清洗，分析出最活跃的10位发帖用户并可视化其发帖数。接着，根据评论和阅读量选出热度最高的用户。进一步地，利用词云图展示所有帖子标题的情绪，以及选取高影响力用户的发帖内容进行词云图展示，以揭示其发帖主题特点。

摘要由CSDN通过智能技术生成

import time
import random
import requests
import csv
from time import sleep
from fake_useragent import UserAgent
from lxml import etree

（关键部分代码如下）

1、获取首页源码

def get_fund(url):
    sleep(random.uniform(1,2))
    headers = {'User-Agent':UserAgent(verify_ssl=False).random}
    response = requests.get(url, headers=headers,timeout=10)
    return response.text

2、爬取数据

def parse_fund(html):
     parse = etree.HTML(html)
     items = parse.xpath('//*[@id="articlelistnew"]/div')[1:]
     for item in items:
         item =  {
                  '阅读': ''.join(item.xpath('./span[1]/text()')).strip(),
                  '评论': ''.join(item.xpath('./span[2]/text()')).strip(),
                  '标题': ''.join(ite