东方财富股吧评论爬虫和情绪分析

最新推荐文章于 2024-03-30 13:15:46 发布

zhiyouwoailingboli

最新推荐文章于 2024-03-30 13:15:46 发布

阅读量7.1k

点赞数 10

文章标签： python 数据挖掘自然语言处理

本文链接：https://blog.csdn.net/qq_41864229/article/details/107957247

版权

本文介绍了使用selenium和BeautifulSoup进行爬虫，抓取东方财富股吧的帖子信息和评论，通过过滤掉官方信息，将数据存储为JSON文件。接着，利用snownlp对评论进行情感分析，但由于硬件限制，只进行了基础实施。

摘要由CSDN通过智能技术生成

爬虫准备

本次用selenmium和bs4进行爬虫，最后把数据储存进json文件里，需要使用的库有这些。

from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.chrome.options import Options
import json

爬虫

先爬取贴子的基本信息，如评论，阅读数，帖子链接等。有些咨询帖子是官方发的，和爬取的股票没有关系，所以需要过滤掉。

def get_list(stock, x, y):
    DFCF_dict = {
   'view_num': [], 'comment_num': [], 'title': [], 'poster': [], 'latest_time': [], 'sub_url': []}
    href_list = []
    total_list = []
    print('从第{}页到第{}页'.format(x, y - 1))
    for i in range(x, y):
        print('正在第{}页'.format(i))
        chrome_options = Options()
        chrome_options.add_argument('--headless')
        browser = webdriver.Chrome(options=chrome_options)

        url = 'http://guba.eastmoney.com/list,{}_{}.html'.format(stock, i)
        url2 = 'http://guba.eastmoney.com'
        browser.get(url)
        html_source = browser.page_source
        soup = BeautifulSoup(html_source, "html.parser")
        view_num = soup.find_all('span', class_='l1 a1')
        comment_num = soup.find_all('span', class_='l2 a2')
        title = soup.find_all('span', class_='l3 a3')
        poster = soup.find_all('span', class_='l4 a4')
        time = soup.find_all('span', class_='l5 a5')
        for element in view_num[1:]:
            DFCF_dict['view_num'].append(element.string)
        for element