数据分享|关联规则Apriori挖掘豆瓣读书评论爬虫采集数据与可视化

于 2022-04-29 17:16:00 发布
阅读量570 收藏 2
点赞数
文章标签： 爬虫 r语言 数据挖掘 数据分析 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tecdat/article/details/129392836
版权

原文链接：http://tecdat.cn/?p=26341

豆瓣读书是豆瓣网的一个子版块。本文数据来源于豆瓣读书网站（查看文末了解数据获取方式），分析内容将基于豆瓣读书的图书评分和评论信息。主题将紧紧围绕以下几点：有哪些书籍值得推荐？一般书籍的价格是多少？一本书的评分和评论数量之间是否存在某种关系？

热门书籍分布

截至爬取之日，热门书评数量实时增长，分别是：

①：评分>=8.0且评论超过10w+的书籍；②：只有评论超过10w+的书；③：按书评数量排名TOP8；

c7a5620681812b93b8ecb3f0d5ca6348.png

经过对比，我发现一些值得一读再读的名著总是在列表中，而且列表中的大部分书籍都是开卷即有益的好书。降低标准后，也出现了一些有益的书籍（《平凡的世界》之类的）。

点击标题查阅往期内容

d11b713747579852710710c364227828.jpeg

R语言关联规则模型(Apriori算法)挖掘杂货店的交易数据与交互可视化

outside_default.png

左右滑动查看更多

outside_default.png

01

4e83367dabab26d2dfbf4af2b1eda5e6.gif

02

e89f292997b57f8509a6afcd6cd9ed0b.png

03

952c44b077ff0411954ecd40acbb36b4.gif

04

927ee391edceeb65f28ecfffae5a7f17.png

由此可以得出结论，数据分析算法应该是综合多种数据得到的权重模型，所以评论量大或者评分高的书不一定值得一读，综合考虑得到的结果可以 被认为是公平的。比如郭敬明的《梦里花落知多少》，路遥的《平凡的世界》。

书籍的价格一般都是在什么范围？

对于读书爱好者来说，这是一个比较关心的问题。

c94152fa2df3522d86463de3c3b44b9a.png

从上图我们可以发现，大部分书籍的价格在20-40之间，其他价格区间的书籍相对较少。计算机专业书籍的价格在60-90之间，低于10元价格范围的书籍部分是电子书。我们惊讶地发现有很多书的价格超过100元！

可以发现，这些百元以上的书籍，大部分都是史料书籍。价格高的原因之一是这些书一般分为很多卷，研究意义重大，耗费大量人力。

热门书籍评价指标Apriori关联规则分析

接下来，我们研究3个关键评价指标：评分、评分数量和评论数量之间的关系。Apriori是常用的关联规则挖掘方法之一，可以找出3个评价指标之间的隐藏关联。

3d202fbedb9a5ac7c885f3a468d669d5.png

使用平行多维图来观察流行书籍评分、评分数量和评论数量的流行关联规则。我们发现大部分书籍的评分在8.0-8.9之间，评分数量在20万-70万之间。

评论最多的书有追风筝人、解忧的杂货店、白夜行等，评分在8.1以上。基本上，具有更多评论的作品具有更高的评分。但是，有些超高分（9分以上）的作品，评论数量却没有想象中的多！

本文章中的所有信息（包括但不限于分析、预测、建议、数据、图表等内容）仅供参考，__拓端数据（__tecdat__）__不因文章的全部或部分内容产生的或因本文章而引致的任何损失承担任何责任。

数据获取

在下面公众号后台回复“读书数据”，可获取完整数据。

0ec86d093a958256af9b5f60b8ff0340.png

点击文末“阅读原文”

获取全文完整资料。

本文选自《关联规则Apriori挖掘豆瓣读书评论爬虫采集数据与可视化》。

点击标题查阅往期内容

R语言关联规则模型(Apriori算法)挖掘杂货店的交易数据与交互可视化

R语言用关联规则和聚类模型挖掘处方数据探索药物配伍中的规律

用SPSS Modeler的Web复杂网络对所有腧穴进行关联规则分析

PYTHON在线零售数据关联规则挖掘APRIORI算法数据可视化

R语言关联规则模型(Apriori算法)挖掘杂货店的交易数据与交互可视化

R语言关联挖掘实例（购物篮分析）

python关联规则学习：FP-Growth算法对药品进行“菜篮子”分析

基于R的FP树fp growth 关联数据挖掘技术在煤矿隐患管理

python关联规则学习：FP-Growth算法对药品进行“菜篮子”分析

通过Python中的Apriori算法进行关联规则挖掘

Python中的Apriori关联算法-市场购物篮分析

R语言用关联规则和聚类模型挖掘处方数据探索药物配伍中的规律

在R语言中轻松创建关联网络

python主题建模可视化LDA和T-SNE交互式可视化

R语言时间序列数据指数平滑法分析交互式动态可视化

用R语言制作交互式图表和地图

如何用r语言制作交互可视化报告图表

9f6d12627336d3ca898ff7c05050a695.png

c903e5187bfc000094c00be27f4cf418.jpeg

323aeb5d8f71214eecd6de8914595a4a.png

博客
Python用Transformer、Prophet、RNN、LSTM、SARIMAX时间序列预测分析用电量、销售、交通事故数据
05-22 663
在数据驱动决策的时代，时间序列预测作为揭示数据时序规律的核心技术，已成为各行业解决预测需求的关键工具。本文基于某咨询项目的实际需求，通过对比分析五种主流预测模型（SARIMAX、RNN、LSTM、Prophet、Transformer）在多类数据集上的表现，探讨模型选择逻辑与参数调优策略，为行业应用提供可落地的解决方案。本研究通过多场景实证分析，揭示了时间序列预测模型的“数据-模型适配法则”：没有最优模型，只有最适合特定数据特征的方案。能源消耗数据的ADF检验p值>0.05，表明非平稳，需差分处理；
博客
2025人工智能AI创新中的可观测性研究报告550+份汇总解读|附PDF下载
05-22 52
然而，随着人工智能代理能力的不断增强，其潜在的风险也不容忽视。北美地区以88%的可观测性项目成熟度领先欧洲（47%），这种差异既源于技术投入的梯度，也与监管环境、数据战略密切相关——尽管欧盟推出AI法案，但北美企业更注重模型准确性（51% vs 欧洲32%）与合规落地的量化指标。报告显示，企业在数据质量、数据管道、AI/ML模型三大核心领域的可观测性投入呈现显著分化：76%的受访者已优化或实施数据质量与管道监控项目，而模型可观测性的“优化级”占比仅23%，凸显模型全生命周期管理的技术门槛。
博客
MATLAB贝叶斯超参数优化LSTM预测设备寿命应用——以航空发动机退化数据为例
05-21 644
本方案已在某航空制造企业的发动机生产线部署，通过实时采集传感器数据并输入训练好的模型，可提前7天预测设备剩余寿命，将非计划停机时间减少35%，维护成本降低28%。结果显示，预测曲线与真实曲线在趋势与关键拐点上高度吻合，尤其在设备临近失效阶段（剩余寿命低于50时），模型能准确捕捉退化加速特征，为维护决策提供了可靠依据。其中，( N ) 为样本总数，( Y_i(t) ) 为第( i )个样本的真实剩余寿命序列，( \hat{Y}_i(t) ) 为预测序列。归一化可确保不同量纲的特征在模型训练中具有同等权重。
博客
Python谷歌商店APP评分预测：LASSO、多元线性回归、岭回归模型对比研究
05-20 891
在模型构建阶段，我们对比多元线性回归（MLR）、LASSO 回归、岭回归三种经典算法，通过严谨的模型评估指标 —— 均方误差（MSE）与决定系数（R2R2 Score），量化不同模型在 APP 评分预测中的表现差异。目前，完整的《谷歌商店 APP 评分预测项目文件》已上传至会员社群，扫码进群即可与 600 + 行业精英共同探讨技术细节，获取代码、数据集及可视化报告，一同解锁数据驱动的 APP 增长新策略。可以转换为int型。由输出结果可见，最少的评论是0条，最多的评论是7千多万条，平均数是40多万条。
博客
2025年医美行业报告60+份汇总解读|附PDF下载
05-20 116
本报告通过梳理政策监管、消费行为、机构竞争等维度，提炼关键数据指标，如华东地区居民人均可支配收入与医美机构数量的关联性、针剂正品率分布等，旨在帮助读者系统把握行业脉络，预判趋势并制定战略。报告结构上，先以 “市场全景” 勾勒行业轮廓，再以 “消费洞察” 解析需求端特征，继而从 “供给变革” 探讨机构与技术升级，最后以 “未来展望” 提出合规化与数字化解决方案。蛋壳研究院：医美能量源设备白皮书 报告2023-02-09 医疗美容行业白皮书：Z世代崛起、轻医美主导，行业正在换打法 报告2025-05-19。
博客
Python+AI提示词糖尿病预测融合模型：伯努利朴素贝叶斯、逻辑回归、决策树、随机森林、支持向量机SVM应用
05-16 1070
其中，(w_i)为特征权重，反映症状对患病风险的影响程度。原始SVM模型（线性核）准确率仅68%，经网格搜索优化（AI提示词：用RBF核和网格搜索提升SVM在医疗数据中的分类性能），选定C=100、gamma=0.1，准确率提升至97%，表明非线性核函数能有效挖掘特征间复杂关联（图10、图11）。研究团队基于真实医疗数据集，系统对比了逻辑回归（LR）、决策树（DT）、随机森林（RF）、支持向量机（SVM）和伯努利朴素贝叶斯（BNB）等算法的表现，并通过模型融合技术实现预测性能的跨越式提升。
博客
2025年全球人工智能AI信任、态度与应用研究报告530+份汇总解读|附PDF下载
05-15 263
数据显示，新兴经济体在AI使用率与信任度上显著领先：印度、尼日利亚等国的AI使用率超90%，而荷兰、日本等发达经济体仅为43%-50%。在工作场景中，58%员工定期使用AI工具，其中73%采用公共生成式AI（如ChatGPT），但仅40%企业制定了生成式AI使用政策。值得关注的是，尽管发达经济体对AI技术能力的信任度达65%，但对其安全与伦理的信任仅52%，反映出技术乐观与社会风险的认知割裂。然而，仅49%教育机构提供AI使用政策指导，20%明确禁止生成式AI，导致59%学生存在违规使用行为。
博客
Python与MySQL网站排名数据分析及多层感知机MLP、机器学习优化策略和地理可视化应用|附AI智能体数据代码
05-15 650
值得关注的是，项目中开发的「数据清洗-特征工程-模型训练-可视化反馈」闭环框架，已在实际应用中帮助客户提升关键词排名30%以上，验证了技术方案的有效性。通过关联分析热力图（图4）发现：「页面加载速度」与「移动端适配性」呈强正相关（相关系数0.82），而「关键词密度」与「用户跳出率」呈负相关（-0.65）。使用K-means算法，将网站分为「高流量高转化」「低流量高粘性」等4类，为差异化优化提供依据（AI提示词：利用K-means聚类分析网站流量特征，划分用户群体）。
博客
2025数智化供应链白皮书90+份汇总解读|附PDF下载
05-14 40
例如，在智能采购中，AI大模型可以分析供应商历史数据、市场动态及价格趋势，智能匹配最优供应商，结合需求预测与库存状况，自动生成精准采购策略，实现成本与库存的双重优化。然而，面对日益复杂的供应链网络，传统的人工决策方式已经无法全面考虑到全局因素，制约了运作效率的提升，也更难以发现新的价值机会和渠道。本报告汇总解读将深入剖析数智化供应链在当前经济格局下的发展态势，通过对大量行业数据的分析，揭示其面临的挑战与机遇，并以安得智联等企业的实践为案例，探讨数智化供应链的创新模式与应用场景。
博客
SARIMA-LSTM融合模型对太阳黑子数量预测分析|附智能体数据代码
05-13 753
该流程图系统描述了太阳黑子数量序列的预测分析流程：首先进行数据稳定性检验，若序列非平稳，进行多次差分直到序列平稳，SARIMA侧重捕捉周期性特征，于是提取季节性与趋势数据对SARIMA进行参数优化与模型构建，得到SARIMA模型结果，与真实值的差值为残差序列。融合模型是通过结合多个基模型预测结果来提升整体预测性能的机器学习范式，在本研究中，基模型为SARIMA模型与LSTM模型，它们分别具备良好的处理数据中线性和季节性成分的性能与处理非线性或复杂成分的性能，在众多方向发展已经有研究。从而确保数据的有效性。
博客
2025政企行业智能体（AI Agent）研究报告380+份汇总解读|附PDF下载
05-13 127
社区AI Agent基于相关政策和数据，为居民提供信息查询、物业事项办理等服务，实现了“问”“查”“听”“做”的全方位服务，助力建设智慧便捷的高效服务体系，提高了企业和群众的办事满意度。为提升稳定性，需扩展通用及政企行业的工作流程，将其抽象并标准化，转化为经验数据，增强AI Agent的独立决策能力和环境适应性。该平台整合多级政策和行业知识资源，训练诊断咨询大模型，为企业提供政策服务、诊断评估等一站式服务，帮助中小企业解决“不想转、不会转、不敢转”的难题，推动中小企业数字化转型，提升区域数字经济发展水平。
博客
2025半导体行业投融资、薪酬报告60+份汇总解读|附PDF下载
05-09 33
B 轮融资有 131 起，占比约 20%，表明不少半导体公司进入中后期融资阶段，但 C 轮及以后的比例较低，只有少数具备持续创新、保持市场领先地位并实现规模化盈利的企业，才能成功获得 C 轮融资，如瀚博半导体作为高端 GPU 芯片提供商，就拿到了 C 轮融资。上海以 113 起融资事件断层领先，这得益于其拥有完整的半导体产业链，涵盖芯片设计、制造、封装测试、设备材料等环节，张江高科技园区更是聚集了中芯国际、紫光展锐、华虹半导体等龙头企业，形成协同效应，同时相关政策的扶持也为半导体产业发展提供了有力支持。
博客
ARIMA-ETS-LightGBM集成及随机森林在信用卡AMT关联、汇率波动与贷款违约预测中的跨模型协同应用实践
05-09 893
在信用卡与替代性最低税（AMT）关系的研究中，我们创新地将传统时间序列模型 ARIMA、ETS 与当下热门的 LightGBM 算法相结合，通过数据清洗、衍生变量构造，以集成学习加权平均的方式预测两者关联，弥补单一模型的不足。而银行贷款违约预测项目，我们从庞大的贷款借款人数据出发，经属性规约、数据清洗与变换，运用随机森林算法构建分类模型，实现对贷款违约风险的有效预测。而指数平滑法则兼容了全期平均和移动平均所长，不舍弃过去的数据，但是仅给予逐渐减弱的影响程度，即随着数据的远离，赋予逐渐收敛为零的权数。
博客
2024年中国企业跨境、出海、国际化、全球化行业报告汇总解读|附PDF下载
05-08 136
原文链接： https://tecdat.cn/?p=38542在当今全球化浪潮汹涌澎湃之际，中国企业的跨境、出海、国际化与全球化征程正深刻重塑着商业版图。本报告合集犹如一盏明灯，深入洞察这一宏大进程。开篇聚焦出海核心区域与行业布局，制造业于东南亚等区域的多元战略布局，以及各行业在国际化征途中的机遇挑战尽显无遗（点击文末“阅读原文”获取专题报告合集PDF版本）。继而转向新兴领域，数字贸易在亚太地区的崛起分化，新能源企业于中东、东南亚的崭露头角令人瞩目。文末455份跨境、出海、国际化、全球化行业研究报告最新趋
博客
CNN-LSTM、GRU、​XGBoost、LightGBM风电健康诊断、故障与中国银行股票预测应用实例
05-08 761
预训练模型是基于序列到序列框架的基于注意力机制的CNN-LSTM模型，该模型首先利用基于注意力机制的多尺度卷积来提取原始股票数据的深层特征，然后利用长短期记忆网络挖掘时间序列特征，最后采用XGBoost模型进行微调。而在股票价格预测领域，针对传统 ARIMA 模型的局限性，创造性提出结合注意力机制的 CNN-LSTM-ARIMA-XGBoost 混合模型，通过预训练 - 微调框架，显著提升预测精度。通过对原始序列和一阶差分序列进行ADF检验的结果表明，原始序列是非平稳的，一阶差分序列是平稳的。
博客
R语言混合效应逻辑回归（mixed effects logistic）模型分析肺癌数据|附AI智能体
05-07 946
在我们的案例中，我们首先将从医生那里取样，然后在每个取样的医生中，我们将从他们的病人那里取样。分布看起来相当正常和对称，你仍然可以看到长的右尾，即使使用了平方根刻度（注意，只有刻度被转移，数值本身没有被转换，这很重要，因为这让你看到并解释实际的分数，而不是分数的平方根）。下面我们使用glmer命令估计混合效应逻辑回归模型，Il6、CRP和住院时间为患者水平的连续预测因素，癌症阶段为患者水平的分类预测因素（I、II、III或IV），经验为医生水平的连续预测因素，还有DID的随机截距，医生ID。
博客
Python+AI提示词用LSTM和注意力机制的苹果公司股票价格预测
04-30 684
与传统的RNN不同，LSTM通过其独特的结构，包括输入门、遗忘门和输出门，能够有效地解决梯度消失的问题，从而保持长时间的信息记忆。AI提示词：使用yfinance库获取苹果公司最近60天的股票数据，选择收盘价并进行缩放处理，将处理后的数据转换为适合模型输入的格式，然后使用训练好的模型进行预测，并将预测结果转换回原始价格尺度并打印。AI提示词：在上述构建的LSTM模型基础上，添加注意力机制，包括进行必要的维度变换操作，如Permute和Reshape，以确保模型结构的兼容性，并添加一个全连接层和编译模型。
博客
2025年银行业展望报告200+份汇总解读|附下载
04-29 42
报告从全球银行业的整体运行状况切入，以详实的数据展现盈利、成本、业务增长等方面的现状，进而深入探讨地缘政治、技术、客户与员工需求等因素对银行业的影响，并针对这些挑战提出切实可行的应对策略，旨在为行业参与者和观察者提供全面且具前瞻性的洞察，助力其在充满变数的市场环境中精准把握趋势、制定有效决策。欧洲市场中，德国、法国、西班牙和意大利的银行贷款增长率将从2024年的0.2%升至2025年的3.1%，住房抵押贷款、消费信贷和商业贷款均呈现良好回升态势，这将推动2025年净利息收入预计增长3%（2024年为零）。
博客
2025年1-3月人工智能AI行业500+份报告汇总解读|附下载
04-29 192
原文链接：https://tecdat.cn/?p=41437在科技飞速发展的当下，人工智能（AI）已成为推动各行业变革的核心力量。从生命科学到制造业，从数据中心能耗到企业运营，AI正以前所未有的速度渗透到各个领域，改变着我们的生活和工作方式。本次汇总解读将深入剖析AI在多领域的应用现状、发展趋势以及面临的挑战，为行业从业者和关注者提供全面且深入的洞察，助力把握AI时代的机遇（点击文末“阅读原文”获取专题报告合集PDF版本）。本报告汇总洞察基于文末500+份人工智能行业研究报告的数据，报告合集已分享在交流群
博客
Python、R语言南方电网、电力负荷数据多模型构建：分位数回归、GAM样条曲线、指数平滑和SARIMA与预测实践
04-28 1000
对于没有明显趋势或季节规律的预测数据，通常采用 SES 模型，该模型预测使用加权平均计算，最大的权重与最近的观测值相关，而最小的权重与最远的观测值相关。：对于数据，由于电费资金收入的规则、政策以及当地的产业情况变动频繁，时间较久远的日度收入规律不具有参考性，故采用最近一年的数据，即 2020 年 8 月至 2021 年 11 月的数据进行建模，其中 2020 年 8 月至 2021 年 7 月为训练集，2021 年 8 - 10 月为验证集，2021 年 11 月为测试集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值