基于spark的微博数据分析

已于 2023-03-15 10:24:56 修改
阅读量5.5k 收藏 111
点赞数 12
分类专栏： spark 文章标签： spark kafka java 数据分析 网络
于 2021-03-18 09:22:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LJ751999/article/details/114963025
版权

文章目录

基于spark的微博数据分析

project-1

image-20210310205159319

主要数据介绍

  • sql文件
  • weibodatabase.sql :原始数据
  • weibo_analysis.sql:分析结果数据

用户信息表

user（用户表）
字段注解
uid用户id
screen_name昵称
name用户姓名
province省份
city市区
location地区（县）
url微博主页链接
gender性别
followsnum粉丝数
friendsnum关注（他人）数
statusenum用户微博数
favouritesnum用户收藏数
created_at用户创建时间

省份编码表

bianma(微博省份编码映射)
字段注解
Provinc编码
Zhongwen对应省份中文

微博内容表

weibo(微博表)
字段注解
mid微博id
data微博发表日期
text微博内容
source发表来源（平台终端）
reopstnum转发数
commentsnum评论数
attitudesnum点赞数
uid用户id
topic微博相关主题

数据分析

项目构建

使用java程序实现websocket服务端，每隔几秒请求数据库获取数据，数据库信息在不断更新，前台数据就动态展现，对于流式处理可以将结果不断写入数据库，服务端不断发送数据库信息，前台动态演示。

image-20210310212250504

前端展示

使用echart工具使数据可视化

image-20210310210122799

数据分析结果演示

微博内容热词统计(房价话题）(Fangjia_hotwords.scala)

从数据库获取微博内容数据为dataframe,并将其写入kafka,然后用structured streaming进行热词统计，其中用hanlp工具包 进行分词，统计机构名nt,地名ns, 人名nr, 形容词a

image-20210310210656735

统计数据中粉丝数量前20的微博用户（Fans_analysis.scala）

image-20210310210738670

微博中国各个省份人口分布统计（PopulationDistribution.scala）

image-20210310210924759

某一话题下微博发布时间分布情况 (Timedistribution.scala)

主要是计算某一话题下一条微博的所在时间段的数量，分为8个时段

从date中提取小时数，根据小时数所在的区间对应到相应的时间段统计数量，再算成比例

一天以24小时计对应的时间段
0-5凌晨
5-7早上
7-11上午
11-13中午
13-17下午
17-19傍晚
19-23晚上
23-0深夜

image-20210310211324532

统计微博发布设备（前8个）(ClientAnalysis.scala)

取发布设备，用sparksql 进行wordcount

image-20210310211449920

image-20210310211514230

基于新浪微博的男女性择偶观数据分析(下)
素履独行 | 元培的个人博客
03-24 3719
  各位朋友，大家好，我是Payne，欢迎大家关注我的博客。我的博客地址是：https://qinyuanpei.github.io。对于今天这篇文章的主题，相信经常关注我博客的朋友一定不会陌生。因为在2017年年底的时候，我曾以此为题写作了一篇文章：基于新浪微博的男女择偶观数据分析(上)。这篇文章记录了我当时脑海中闪烁着的细微想法，即当你发现一件事物背后是由哲学或者心理学这类玄奥的科学在驱动的时...
计算机毕业设计之基于Spark的微博热搜数据分析系统的设计与实现
2401_85505850的博客
07-23 508
从意义方面，系统主要处理大量信息数据，对这些数据进行分析，并按需求进行可视化，从中提取用户所需要的信息，给用户带来价值。这些数据中包含着丰富的用户行为信息，通过分析这些信息，可以挖掘出许多有价值的内容。本系统采用了Spark作为主要的数据处理框架，以Hadoop作为数据存储系统，通过Flume进行数据采集，Sqoop进行数据迁移，利用Python和Scala进行数据处理和分析。管理员点击用户模块可以看到用户账号，姓名，性别，邮箱，手机号码，头像等信息，并可以对这些信息进行查看详情，更新，增加，删除的操作。
新浪微博运营数据分析工具
01-20
微博传播深度、关键传播点、粉丝特征多维度分析； 分析博主（自己）、以及博主的粉丝标签分析
Weibo_Data_Analysis:使用graph_tools对微博用户数据进行一些简单的可视化和分析
05-18
微博用户数据分析报告 获得数据 数据为以用户"阿尔卑斯君°"为中心向外bfs搜索得到。 执行src下的gen.sh,在data下生成user.txt,star.txt,relation.txt三个文件。 执行src下的build.py,在data下生成graphAll.xml.gz这个基于graphtools的数据文件。 注意项目中的data文件夹下已经包含了需要下载的数据，数据量还是比较大的，不要轻易git clone . user.txt 64452条用户信息，包括： 用户编号，用户编号2(暂时不用)，昵称，性别，个性签名 以制表符分割 例: 1000005991 1005051000005991 衷柏夷 他 活在当下,且行且珍惜 福建 1000124571 1005051000124571 工信布 他 互联网科技、经济、生活与宽窄新锐哲思。出版有《互联网时代的浪漫与痛痒——传统行业转
hadoop+Spark+springboot基于大数据的微博舆情监测分析系统(源码+文档+调试+可视化大屏)
weixin-80213251的博客
02-18 787
舆情监测对于政府、企业和个人都具有重要意义，它能够帮助这些主体及时了解公众对特定事件或话题的看法和反应，从而做出相应的决策和应对措施。它提供了响应式数据绑定和组件化开发模式，使开发者能够轻松地管理视图和数据的变化。在系统中，Vue.js用于实现前端界面的展示和交互功能，如舆情热度走势图、地域分布图表等可视化分析结果。的微博舆情监测分析系统是一款强大的工具，它结合了Spring Boot框架的高效性和Hadoop的。在系统中，Hadoop用于处理微博平台上的海量数据，包括数据采集、存储、分析和查询等功能。
Spark微博舆情分析系统 情感分析 爬虫 Hadoop和Hive 贴吧数据 双平台 讲解视频 大数据 Hadoop 毕业设计 ✅
最新发布
十多年程序猿资深互联网人，目前专注于Python/Java/大数据项目解决方案制定，提供各行业各编程语言的全套开发服务，喜爱code，喜爱分享，生命不止，编码不息！
04-16 1407
Spark微博舆情分析系统 情感分析 爬虫 Hadoop和Hive 贴吧数据 双平台 讲解视频 大数据 Hadoop 毕业设计 ✅
Spark案例实战之四
说文科技，做有态度的研究。
07-27 1460
Spark案例实战之四 一.微博专栏分析 1.需求：有一个微博网站，下面有很多栏目，每个栏目下面都有几千万用户，每个用户会有很多的粉丝，要求取出各栏目粉丝量最多的用户TopN。【可用TreeMap实现，专栏：feature， 粉丝：fan】 日志每行记录如下： 体育 user01 user04 user05 user08 user09 user10 其中体育是专栏名，user01是用户...
毕业设计spark++hive知识图谱微博舆情预测
qq_80213251的博客
03-24 1298
情感分析中的情感极性（倾向）分析。对预警热点进行监管规范网络行为，净化网络环境，再从中获得有用的价值，例如商业价值，信息传播以及社会学方面的研究价值，并从中满足人们的需求，同时对于社会的和谐，网络舆论生态的健康，公司管理层的正确决策，国家的发展都有重要的现实意义。舆情预警的分析需要海量的数据采集，并需要保证数据的精准度，而新浪微博平台的反爬机制具有一定的难，因此在数据挖掘时会影响爬取进度，虽说微博对爬取的频率做了限制，不过站在微博官方的角度同时想让搜索引擎爬取数据，又要防止其他爬虫对服务器带来的压力。
微博数据分析
weixin_52301792的博客
10-16 1544
数仓分层 将原数据放入ods层。 清洗后的数据放在dwd层。 逻辑数据放在dws层。 应用数据放在ads层。 表命名规则 数仓层级_数据源_一级处理_二级处理 例如： 原始用户登录数据：ods_login_user 原始未改的微博数据：ods_weibo_original 清洗之后的微博数据：dwd_weibo_clean 微博用户总数量数据：dws_weibo_user_num 数据说明 用户的历史微博数据，数据有1206个小文件，所有数据的格式均是json格式。 总共140多
Spark微博人口流动分析(1)
weixin_30415113的博客
05-03 238
思路 新浪微博API接口提供了获取附近位置的微博用户的API接口，因此尝试通过分析春节期间全国用户各地微博用户分布情况，再结合用户注册地信息，粗略分析人口流动情况。 数据获取 0：新浪微博API接口 NearbyUser：http://open.weibo.com/wiki/2/place/nearby/users 城市代码：http://open.weibo.com/w...
计算机毕业设计Python+Spark知识图谱微博预警系统 微博推荐系统 微博可视化 微博数据分析 微博大数据 微博爬虫 微博预测系统 大数据毕业设计 机器学习 深度学习 人工智能
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
05-02 870
计算机毕业设计Python+Spark知识图谱微博预警系统 微博推荐系统 微博可视化 微博数据分析 微博大数据 微博爬虫 微博预测系统 大数据毕业设计 机器学习 深度学习 人工智能
计算机毕业设计之基于spark的微博热搜数据分析平台
2401_87122765的博客
09-24 314
评论统计模块：评论统计模块使用Spark处理微博热搜数据，提取评论信息，利用Django框架的后台管理界面，将这些信息以金字塔图的形式展示，便于用户直观地了解热搜话题的评论数量分布情况，展示界面如下图所示。用户可以通过本平台实时查看和分析微博热搜数据，支持搜索、筛选、排序等功能，同时平台提供多样化的数据可视化图表，如Echarts、Highcharts等，让用户直观了解微博热搜的动态变化。的页面主要页面包括登录页面，数据可视化展示页面，爬虫模块主要用来爬取网站的相关数据信息的，通过使用。
基于Spark的大规模机器学习在微博的应用
01-15
分享是为了知识的传播。希望更多人学到有关技术能力，从而做更好的产品，为个性化需求提供更好的服务。
微博评论数据集
10-25
内含微博评论数据集两个，一个是训练集，一个是测试集。
基于微博数据的舆情分析项目，包括数据分析 LDA主题分析和情感分析 毕业设计
03-21
在这个基于微博数据的舆情分析项目中，我们主要探讨了如何运用数据分析、LDA主题分析以及情感分析技术来理解和解读社交媒体上的舆论动态。这样的项目对于理解公众情绪、社会热点以及品牌影响力等方面具有重要的价值...
计算机毕业设计源码 大数据深度学习 基于Spark实现的微博数据可视化分析
2201_75937987的博客
12-06 529
基于Spark实现的微博数据可视化分析系统，旨在通过大数据处理和分析技术，从海量微博数据中提取有价值的信息，并以直观的图表形式呈现给用户。
【大数据分析】基于Spark哔哩哔哩数据分析舆情推荐系统 b站（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）✅
qq_64605578的博客
09-13 6619
该项目旨在基于Spark大数据处理框架，对哔哩哔哩平台的数据进行舆情分析和推荐系统的设计与实现。利用爬虫技术获取哔哩哔哩的相关数据，并使用Spark进行数据清洗、转换和存储。通过NLP技术对用户评论和弹幕进行情感分析，识别热点事件和用户情感倾向。基于用户的兴趣和舆情分析结果，构建个性化的推荐系统，向用户推荐相关内容。利用Spark Streaming对实现弹幕和评论进行分析，实现实时舆情监控与推荐。二、研究意义。
【Spark+Hive大数据】基于spark抖音数据分析预测舆情系统（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）✅
qq_64605578的博客
10-26 2894
本项目通过结合大数据技术与社交媒体分析，拓展了舆情研究的视野，提供了新的方法和思路，有助于推动相关领域的学术研究。项目的舆情分析可以揭示公众情绪与意见的变化，为政府和社会组织提供依据，帮助他们更好地理解公众需求与关切，从而推动社会沟通与理解的增进。项目的研究成果可为后续的舆情预警系统的设计与实现提供基础与参考，有助于提高舆情监测和应对的自动化和智能化水平。构建舆情预测模型，利用历史数据和实时数据，分析和预测舆情的发展趋势，帮助决策者提前识别潜在的舆情危机。
微博数据分析及高效获取
wcc526的专栏
12-22 1818
新浪微博API 1.用户个人资料 2.用户社交关系 3.微博信息 4.无法获取关键字搜索微博数据,获取微博全面的评论,转发的少量信息,无法获取赞信息 爬取 1.用户个人资料 2.获取关键字搜索微博数据,全面评论,转发,赞信息
sparksql递归
02-28
<think>嗯，用户问的是SparkSQL递归，我需要先理解清楚他们具体想知道什么。可能是指SparkSQL是否支持递归查询，比如处理树形结构数据或者层次查询。SparkSQL本身是基于Hive和DataFrame的，但传统的SQL递归通常是通过CTE（Common Table Expressions）的WITH RECURSIVE实现的。 首先，我得回忆一下Spark的版本情况。在Spark 3.0之前，SparkSQL不支持递归CTE，所以用户可能需要找替代方案。比如使用DataFrame的API进行迭代处理，或者结合其他工具。但如果是Spark 3.0及以上版本，可能有所变化。我需要确认这一点，可能官方文档有更新。 然后，用户可能需要了解如何在Spark中实现递归操作。如果原生不支持，可能需要用其他方法，比如用循环或者UDF来模拟递归。但递归处理大数据可能会有性能问题，比如栈溢出或者效率低下，这时候可能需要考虑优化策略，比如限制递归深度，或者转换递归为迭代。 另外，可能用户的实际应用场景是处理层级数据，比如组织结构、目录树等。这时候，如果SparkSQL不支持递归查询，可以建议将数据预处理成非递归结构，或者使用图处理框架如GraphX结合SparkSQL来处理。 需要确保回答准确，所以得检查Spark的最新版本是否支持递归CTE。查了一下，Spark 3.0确实引入了对递归CTE的支持，但可能有使用限制，比如需要启用特定配置或者遵循ANSI SQL的标准语法。 总结下来，回答的结构应该是：首先说明SparkSQL在3.0版本后支持递归CTE，然后给出示例，接着提到之前的版本如何解决，以及可能的性能考虑和应用场景。确保用户知道不同版本的区别，以及替代方法。</think>关于 Spark SQL 中的递归查询，以下是关键点说明： 1. **版本支持** Spark 3.0 及以上版本开始支持 ANSI SQL 标准的递归查询（通过 `WITH RECURSIVE` 语法），但需注意以下配置： ```sql SET spark.sql.legacy.ctePrecedence.enabled=true; -- 确保递归 CTE 正确解析 ``` 2. **递归查询示例** 假设需要生成 1 到 5 的序列： ```sql WITH RECURSIVE numbers AS ( SELECT 1 AS n UNION ALL SELECT n + 1 FROM numbers WHERE n < 5 ) SELECT * FROM numbers; ``` 输出结果： ``` +---+ | n | +---+ | 1 | | 2 | | 3 | | 4 | | 5 | +---+ ``` 3. **旧版本替代方案** Spark 3.0 之前可通过以下方法模拟递归： - **DataFrame 迭代**：使用循环逐层处理数据 ```scala var df = spark.sql("SELECT 1 AS n") for (_ <- 1 to 4) { df = df.union(df.selectExpr("n + 1 AS n")) } df.filter("n <= 5").show() ``` - **层级展开**：对固定深度结构使用多级 `UNION` 操作 4. **性能注意事项** | 方法 | 优点 | 缺点 | |---------------------|-----------------------|-------------------------------| | 递归 CTE | 语法简洁，符合 SQL 标准 | 深度过大时可能栈溢出 | | DataFrame 迭代 | 可控内存使用 | 需手动管理迭代终止条件 | | 预计算层级结构 | 查询速度快 | 需要提前处理数据 | 5. **典型应用场景** - 组织架构树状查询 - 社交网络关系分析（需结合图算法优化） - 目录层级遍历 - 依赖关系解析 6. **扩展方案** 复杂递归需求可结合其他工具： ```mermaid graph LR A[Spark SQL] --> B{是否需要深度递归?} B -->|是| C[导出到图数据库 Neo4j] B -->|否| D[使用原生递归 CTE] C --> E[通过 Cypher 语言处理] E --> F[结果写回 Spark 分析] ``` 建议根据数据规模选择方案： - 小规模层级数据 → 直接使用递归 CTE - 超深递归/大规模图数据 → 导出到专用图处理系统 - 定期分析需求 → 预计算非递归化存储结构
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ROJS

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值