大数据综合实例—陌陌聊天数据分析

最新推荐文章于 2025-01-14 15:09:03 发布

小七fighting

最新推荐文章于 2025-01-14 15:09:03 发布

阅读量1.8k

点赞数

分类专栏：大数据文章标签：大数据数据分析数据库

本文链接：https://blog.csdn.net/icu13996/article/details/126406724

版权

本文介绍了陌陌聊天数据的分析过程，包括需求分析、数据库建模、ETL数据清洗、SQL指标计算以及使用FineBI进行数据可视化。通过处理14万条数据，统计了消息量、用户数、地区分布、Top10用户等关键信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大数据综合实例—陌陌聊天数据分析

1. 需求分析

数据大小：14万条
列分隔符：制表符 \t

2. 建库建表与加载数据

建库

--------------1、建库-------------------

--如果数据库已存在就删除
drop database if exists db_msg cascade;
--创建数据库
create database db_msg;
--切换数据库
use db_msg;

建表

create table db_msg.tb_msg_source(
  msg_time             string  comment "消息发送时间"
  , sender_name        string  comment "发送人昵称"
  , sender_account     string  comment "发送人账号"
  , sender_sex         string  comment "发送人性别"
  , sender_ip          string  comment "发送人ip地址"
  , sender_os          string  comment "发送人操作系统"
  , sender_phonetype   string  comment "发送人手机型号"
  , sender_network     string  comment "发送人网络类型"
  , sender_gps         string  comment "发送人的GPS定位"
  , receiver_name      string  comment "接收人昵称"
  , receiver_ip        string  comment "接收人IP"
  , receiver_account   string  comment "接收人账号"
  , receiver_os        string  comment "接收人操作系统"
  , receiver_phonetype string  comment "接收人手机型号"
  , receiver_network   string  comment "接收人网络类型"
  , receiver_gps       string  comment "接收人的GPS定位"
  , receiver_sex       string  comment "接收人性别"
  , msg_type           string  comment "消息类型"
  , distance           string  comment "双方距离"
  , message            string  comment "消息内容"
)
--指定分隔符为制表符
row format delimited fields terminated by '\t';