写一个基于大模型的舆情分析和自动评论回复工具（评论区带下载链接）

已于 2023-12-19 17:40:54 修改
阅读量1.1k 收藏 8
点赞数 3
分类专栏： 自动化 文章标签： rpa
于 2023-08-31 09:17:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ytyanting/article/details/132429592
版权

目录


·

整体架构

本产品是一套自动化对流量渠道进行舆论采集舆论分析和评论生成发布的流程，目前涉及采集的流量渠道主要有小红书及抖音，后续将根据用户需求增加开发其他流量渠道。

  • 分批量和实时两条线。
    • 批量线：
      • 1、负责批量采集包括小红书文案内容、抖音视频内容、小红书及抖音评论内容，
      • 2、基于采集到的内容数据，进行舆论分析，包括正负向情感分析、热门观点提取；进而针对热门观点，进行评论内容的生成。
    • 实时线：
      • 1、负责实时采集包括小红书文案内容、抖音视频内容、小红书及抖音评论内容，
      • 2、基于采集到的内容数据，实时进行评论内容的生成和发布。

在这里插入图片描述

批量采集及舆论分析

模块一 批量采集

该模块使用的是开源RPA工具tagUI，自主开发完成针对指定搜索关键词进行小红书文案、抖音视频文案以及相关评论的采集。
执行xhsDACQ.py及dyDACQ.py完成数据采集工作，生成相应的csv结果文件。

小红书内容采集

运行xhsDACQ.py脚本，指定以下入参：

入参备注
搜索关键词以|区分不同的关键词，如智己|LS7
筛选条件以|区分排序和类型，排序参数可为空即按照默认排序、最新、最热；类型参数为空即默认全部、图文、视频。
采集内容类型1、note；2、comment；3、note&comment
采集条数上限笔记条数采集上限
每条笔记采集的评论数当采集内容类型=1时，为空

根据用户采集内容类型 ，输出采集的笔记内容和评论内容，具体采集字段如下：

在这里插入图片描述

举例1：python xhsDACQ.py 智己|LS7 最新|图文 1 100——> 将获得以“智己 LS7”为关键词搜索的最新图文笔记100篇对应的文字描述内容
举例2：python xhsDACQ.py 智己|LS7 | 3 100 5——> 将获得以“智己 LS7”为关键词搜索的按照默认排序的前100篇笔记对应的文字描述内容及每篇笔记的前5条评论内容。

抖音内容采集

运行dyDACQ.py脚本时，需指定以下入参：

入参备注
搜索关键词以|区分不同的关键词，如智己|LS7
筛选条件以|区分排序和发布时间，排序参数可为空即按照综合排序、最新、最多点赞；发布时间参数为空即不限、一天内、一周内、半年内。
采集内容类型1、vedio；2、comment；3、vedio&comment
采集条数上限视频条数采集上限
每条视频采集的评论数当采集内容类型=1时，为空

根据用户采集内容类型 ，输出采集的笔记内容和评论内容，具体采集字段如下：

在这里插入图片描述

举例1：python dyDACQ.py 智己|LS7 最新|一天内 1 100——> 将获得以“智己 LS7”为关键词搜索一天内最新100篇视频对应的文字描述内容
举例2：python dyDACQ.py 智己|LS7 |半年内 3 100 5——> 将获得以“智己 LS7”为关键词搜索半年内发布的按照默认综合排序的前100篇视频对应的文字描述内容及每篇笔记的前5条评论内容。

模块二 舆论分析

该模块基于模块一采集到的内容数据进行舆论分析，包括正负向情感分析、热门观点提取
执行commentAnalysis脚本完成数据分析工作，会获得comment_analysis_rst.csv
在这里插入图片描述

模块三 内容生成

  • 评论生成（commentGenerate）：该模块基于模块二的舆论分析结果comment_analysis_rst.csv进行评论生成
    执行commentGenerate脚本，进行回复内容的生成，会获得comment_generate_rst.csv

  • 回复生成（replyGenerate）：该模块基于模块二的舆论分析结果comment_analysis_rst.csv进行评论生成
    执行replyGenerate脚本，进行回复内容的生成，会获得reply_generate_rst.csv

    在这里插入图片描述

实时采集及内容发布

调用 xhsRealTimeRpaProcess.py，dyRealTimeRpaProcess.py，修改config文件，做相应的设置后，运行程序完成实时采集及内容发布。可在 xhsRealTimeRpaProcess_log.csv， xhsRealTimeRpaProcess_log.csv 中 监控跑批情况

{
	"xhs":{
		"keywords": "智己|LS7", //搜索关键词
		"filter": "最新|全部", //排序方式
		"limitnum":"100",//采集条数上限
		
		"process: {
			
			"condition":{  //筛选满足以下条件的笔记进行评论及回复处理，以下各条件是并且关系
				"likeNum":5 //点赞数大于等于5
				"chatNum":3 //评论回复交互数大于等于3
				"collectNum":0 //评论回复交互数大于等于0
				},
			"commentcnt":1, //对笔记进行评论，条数为1
			"commentsource":"comment_generate_rst.csv" //绝对路径
			
			"reply":{ //对评论进行回复处理
				"orderid":"[1,2,3]"    //前3个评论进行回复,举例[1,3]对第1个和第3个评论进行回复
				"contentuinique":"on" //对同一篇笔记下的多条评论进行逐一回复时，内容需要排重,不能满足排重该条评论不予回复；off为不需要排重
				"source":"comment_generate_rst.csv" //绝对路径
		},
		
    },

	"dy":{
		"keywords": "智己|LS7", //搜索关键词
		"filter": "最新|一周内", //排序方式
		"limitnum":"100",//采集条数上限
		
		"process: {
			
			"condition":{  //筛选满足以下条件的视频进行评论及回复处理，以下各条件是并且关系
				"likeNum":5 //点赞数大于等于5
				"chatNum":3 //评论回复交互数大于等于3
				"collectNum":0 //评论回复交互数大于等于0
				},
			"commentcnt":1, //对视频进行评论，条数为1
			"commentsource":"comment_generate_rst.csv" //绝对路径
			
			"reply":{ //对评论进行回复处理
				"orderid":"[1,2,3]"    //前3个评论进行回复,举例[1,3]对第1个和第3个评论进行回复
				"contentuinique":"on" //对同一篇笔记下的多条评论进行逐一回复时，内容需要排重,不能满足排重该条评论不予回复；off为不需要排重
				"source":"comment_generate_rst.csv" //绝对路径
		},
		
    }
	
}

模块四 内容发布

  • 实时获取评论内容，调用getCommentContent.py

getCommentContent.py：随机发布comment_generate_rst.csv中的一条
xhsCPUB.py 小红书发布评论
dyCPUB.py 抖音发布评论

入参：
在这里插入图片描述

出参

参数备注
commnetContentGenerated生成评论内容
  • 实时获取回复内容，调用getReplyContent.py

getReplyContent.py：评论内容关键词匹配reply_generate_rst.csv中aspect和syn，击中即随机发布对应的content中的一条。
xhsRPUB.py 小红书发布回复
dyRPUB.py 抖音发布回复
在这里插入图片描述
出参

参数备注
replyContentGenerated生成回复内容
人工智能大模型原理与应用实战：大模型在舆情分析中的应用
AI天才研究院
12-17 1192
1.背景介绍 舆情分析是一种利用人工智能和大数据技术对社交媒体、新闻报道、论坛讨论等多种信息源进行分析的方法，以了解公众对某个话题的情感、态度和观点。随着人工智能技术的发展，尤其是大模型的出现，舆情分析的精度和效率得到了显著提高。本文将介绍大模型在舆情分析中的应用，包括核心概念、算法原理、具体实例和未来发展趋势。
大模型助力电商评论挖掘:情感分析与观点提取
AI天才研究院
05-01 832
1. 背景介绍 电商平台的蓬勃发展催生了海量用户评论数据，这些评论蕴藏着用户对产品和服务的真实感受和意见。有效地挖掘和分析这些评论，对于商家改进产品、提升服务质量、制定营销策略等具有重要意义。然而，传统的人工方式难以应对如此庞大的数据量，因此，利用大模型进行电商评论挖掘成为了一种高效且可行的解决方案。
智慧城市中的舆情监控：AI技术驱动的新时代
最新发布
FrostfirePhoenix43的博客
03-24 615
开发AI智能应用，就下载InsCode AI IDE，一键接入DeepSeek-R1满血版大模型！ 智慧城市中的舆情监控：AI技术驱动的新时代 在信息爆炸的时代，如何有效捕捉、分析和应对社会舆论成为智慧城市管理中不可或缺的一环。随着人工智能技术的飞速发展，尤其是大模型的应用，使得舆情监控变得更加高效、精准和智能化。本文将探讨如何利用先进的AI技术和工具，如InsCode AI提供的API服务以及其...
链接分析算法在网络舆情热点
咕噜君的博客
09-11 945
基于PageRank算法的热点舆情挖掘 原理：PageRank算法原理 在舆情热点挖掘中引入PageRank算法思想，构造舆情网络，单个节点的重要性来 自于该网络中其 他成员节点重要性的线性组合，从而建构一个线性方程组，舆情网络 中各节点的重要性即该线性方程组最大特征值所对应的特征矢量。 以下算法可以用来描述舆情络 的热点挖掘过程 ： (1)取 n个直接或间接链接关系的页面构建舆情网络，每个页面为该网络的节点 ； (2)建立该舆情网络的邻接矩阵A，其中aij=1表示节点 i与节点j之间存在直接..
自动机器学习pycaret，手把手教你自动提取特征、自动选取模型、自动评价
古月哲亭
08-10 1092
手把手教你自动提取特征、自动选取模型、自动评价。
从文本使用大模型自a动生成代码：Codex
TheArtofLLMs的博客
12-09 1137
我们介绍Codex，这是一种在GitHub上公开可用的代码上进行Fine-tuned的GPT语言模型，并研究其Python编写能力。Codex的一个特定生产版本支持GitHub Copilot。在HumanEval上，这是我们发布的新的评估集，用于衡量从文档字符串中合成程序的功能正确性，我们的模型解决了28.8%的问题，而GPT-3解决了0%，GPT-J解决了11.4%。此外，我们发现，重复从模型中采样是一个出人意料的有效策略，用于产生解决困难提示的有效解决方案。
论文推荐 | 一种开放域Chatbot的无监督自动评价方法
weixin_34007886的博客
08-01 365
开放领域的人机对话在过去几年中受到越来越多研究者的关注。然而，对于开放领域的对话系统不存在一个标准的自动评测方法，研究人员通常采用人工标注来评估其模型，这种方法不仅耗时而且不能很好的扩展。在本文中我们提出一种结合无参考回复和有参考回复的评测方法，该方法同时考虑问题（先前用户的话语）和参考回复来对生成的回复进行评测，我们将该指标称之为RUBER (a R...
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
AI天才研究院
07-04 2819
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
大语言模型原理与工程实践：核心架构
AI天才研究院
11-15 1046
大语言模型（Large Language Model），顾名思义，是一种能够理解和生成自然语言的大规模神经网络模型。其核心目标是通过大规模的数据训练，使得模型能够对输入的自然语言文本进行理解、生成、预测等操作。这种模型的出现，标志着自然语言处理（NLP）领域的一个重要里程碑，为许多实际应用场景提供了强大的支持。大规模预训练：大语言模型通常在数十亿甚至千亿级别的文本数据进行预训练，从而获取丰富的语言知识。这一过程涉及到对大量文本进行建模，从中学习词汇的语义、语法和上下文信息。自监督学习。
ChatGPT在自动化社交媒体危机公关中的应用
AI天才研究院
01-29 1081
《ChatGPT在自动化社交媒体危机公关中的应用》 关键词 ChatGPT 自动化社交媒体危机公关 自然语言处理 AI技术 危机管理 摘要
基于Python的爬虫设计与数据分析可视化-大屏-计算机毕设定制-附项目源码（可白嫖）37836
VX_bysj703的博客
07-24 1149
基于Python的爬虫设计与数据分析主要功能模块包括轮播图（轮播图管理）公告栏管理（公告栏）资源管理（旅游资讯、资讯分类）系统用户（管理员、旅游用户）模块管理（地区分类、景点等级、景点信息、景点订票），采取面对对象的开发模式进行软件的开发和硬体的架设，能很好的满足实际使用的需求，完善了对应的软体架设以及程序编码的工作，采取MySQL作为后台数据的主要存储单元，采用django框架、python技术、Ajax技术进行业务系统的编码及其开发，实现了本系统的全部功能。
复仇者联盟3的舆情分析
pangsg的博客
06-06 1283
基于时间序列的舆情分析（复仇者联盟3） 摘要随着移动互联网和信息技术的发展，网络产生了形形色色的自媒体平台。以微博、微信为代表的社交软件受到了网民的热烈追捧，由此每天产生着的海量即时信息，描述着社会中正在发生的热点事件，如能即时发现、追踪这些社会热点事件，将有助于实现网络舆情的实时监控，为决策者提供可靠的数据支持。本次作业通过python爬虫爬取微博以及电影评论，针对某一个事件进行舆情分析。  1...
【网安AIGC专题10.19】论文4：大模型（CODEX 、CodeGen 、INCODER ）+自动生成代码评估：改进自动化测试方法、创建测试输入生成器、探索新的评估数据集扩充方法
定期分享我的发现和想法，感谢你的陪伴和支持
10-25 6670
介绍了EvalPlus，一个严格的程序合成评估框架，以自动化测试生成为驱动。EvalPlus将基于LLM（使用ChatGPT进行提示）和基于变异的输入生成相结合，以获得多样化的测试输入集，以准确评估LLM生成代码的功能正确性。创建了HUMANEVAL+，通过增加高质量和自动生成的测试输入来扩展流行的HUMANEVAL基准测试。通过测试套件缩减，创建了比HUMANEVAL+小47倍的HUMANEVAL±MINI，同时保持几乎相同的测试效果。
大型语言模型在新闻舆情监测中的应用
AI天才研究院
04-01 933
大型语言模型在新闻舆情监测中的应用 作者：禅与计算机程序设计艺术 1. 背景介绍 随着互联网时代的到来,大量的信息和数据在网络上不断产生和传播,尤其是在社交媒体平台上,各种新闻、观点和舆论层出不穷。如何有效地监测和分析这些海量的舆情信息,已经成为企业和政府决策者面临的重要课
AI大模型加持的新一代网络舆情系统——“速途观澜”舆情感知引擎发布上线
2401_84494441的博客
07-17 1912
*据悉，该系统以大数据+AI的双轮驱动为技术底座，是集舆情信息的实时监测、多层分析、智能研判、精准应对等核心功能于一体的网络舆情态势感知系统，**AI等前沿技术的引入为该产品注入了强大的动力，产品性能得到了大幅度的强化提升，进一步提升了其在行业内的竞争力和应用价值。再者，相较于传统舆情科技公司普遍存在强数据分析能力、弱舆情应对处理能力的弊端，
最近，大模型岗位爆了。。。
qq_46094651的博客
02-16 292
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下，与其焦虑被行业淘汰，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，
AI大模型应用入门实战与进阶：大模型在舆情分析中的应用
AI天才研究院
01-09 948
1.背景介绍 舆情分析是一种利用大数据技术对社交媒体、新闻报道、博客等网络信息进行分析和评估的方法，以了解社会各界对某个问题、政策或事件的看法和态度。在当今的信息化时代，舆情分析已经成为政府、企业和组织的重要工具，帮助它们更好地了解和应对社会的需求和期望。 随着人工智能技术的发展，大模型在舆情分析中的应用也逐渐成为主流。大模型可以帮助舆情
大模型能给舆情分析带来哪些突破？
kcarly的专栏
03-01 1530
例如，通过二分类或多分类神经网络模型，大模型可以分析文本数据的情感倾向，并识别出公众对特定事件或政策的态度。在危机管理中，大模型可以实时监测舆情动态，及时发出预警信号，并根据分析结果制定科学的应对策略，以最大程度减轻危机带来的负面影响。大模型在舆情分析中的应用不仅提升了分析的精度和效率，还实现了自动化报告生成、情感分析、趋势预测和危机管理等多方面的突破。未来，大模型有望实现更加精准的情感分析和观点挖掘，并能够预测舆论走势，为企业和政府提供更全面的支持。这一阶段的目的是将原始文本转化为适合模型训练的格式。
人工智能大模型在舆情分析中的应用与实战指南！
2401_84494441的博客
03-11 587
舆情分析是一种利用人工智能和大数据技术对社交媒体、新闻报道、论坛讨论等多种信息源进行分析的方法，以了解公众对某个话题的情感、态度和观点。随着人工智能技术的发展，尤其是大模型的出现，舆情分析的精度和效率得到了显著提高。本文将介绍大模型在舆情分析中的应用，包括核心概念、算法原理、具体实例和未来发展趋势。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。
如何利用Python语言及其生态系统中的工具和库搭建一个新闻评论舆情热点分析平台？
10-30
构建一个新闻评论舆情热点分析平台是一项复杂的任务，涉及到数据抓取、处理、分析和可视化等多个步骤。以下将详细说明如何利用Python及其生态系统中的工具来实现这一目标。 参考资源链接：[PYTHON驱动的网易新闻舆情热点分析平台](https://wenku.csdn.net/doc/331yccjn09) 首先，使用Python进行数据抓取。利用requests库可以轻松获取网络上的数据。例如，抓取新闻页面，代码如下： ```python import requests from bs4 import BeautifulSoup url = '***' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') ``` 接着，使用BeautifulSoup解析HTML，提取出新闻标题和评论等内容。 数据清洗和预处理是分析前的关键步骤。可以使用pandas库来处理和存储数据。例如，将新闻和评论存储在DataFrame中，便于后续处理。 ```python import pandas as pd # 假设已经从页面中提取了新闻和评论数据 news_data = pd.DataFrame(新闻数据) comments_data = pd.DataFrame(评论数据) ``` 然后，进行数据分析。这一步骤可能包括关键词提取、情感分析等。可以使用nltk或jieba进行中文分词，使用TextBlob或SnowNLP进行情感分析。 ```python import jieba from snownlp import SnowNLP # 中文分词示例 words = jieba.lcut(新闻或评论内容) # 情感分析示例 s = SnowNLP(新闻或评论内容) sentiment_score = s.sentiments ``` 数据分析后的可视化同样重要。使用matplotlib或seaborn库可以将分析结果图形化展示。 ```python import matplotlib.pyplot as plt import seaborn as sns # 数据可视化示例 sns.set() data_to_plot = comments_data['情感分数'] plt.hist(data_to_plot, bins=5, alpha=0.5) plt.title('评论情感分布') plt.xlabel('情感分数') plt.ylabel('评论数量') ``` 至于数据存储，可以使用MySQL数据库。利用Python的SQLAlchemy库进行数据库操作，实现数据的持久化存储。 ```python from sqlalchemy import create_engine import pymysql # 数据库连接示例 engine = create_engine('mysql+pymysql://username:password@localhost/dbname') comments_data.to_sql('comments_table', con=engine, if_exists='replace', index=False) ``` 最后，要实现一个完整的平台，还需开发一个Web界面让用户交互。可以使用Flask或Django框架，并利用HTML5来构建前端界面。 通过上述步骤，我们可以构建一个基本的新闻评论舆情热点分析平台。当然，实际应用中还需要考虑系统的可扩展性、性能优化和安全性等因素。如果需要更深入的了解平台的设计与实现，建议阅读《PYTHON驱动的网易新闻舆情热点分析平台》，这份资料将为你提供一个详细的案例研究和实现指南。 参考资源链接：[PYTHON驱动的网易新闻舆情热点分析平台](https://wenku.csdn.net/doc/331yccjn09)
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值