【大数据项目学习】第一章：项目需求分析与设计

最新推荐文章于 2022-09-26 16:06:16 发布
最新推荐文章于 2022-09-26 16:06:16 发布
阅读量925 收藏 3
点赞数 2
分类专栏： 大数据项目学习 文章标签： 大数据 java 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48268603/article/details/112436411
版权

第一章：项目需求分析与设计

一个初学者的大数据学习过程

文章目录

前言

以大数据实战项目为主线，理论和实战相结合，全方位、全流程、无死角的大数据项目的项目需求分析、技术选型、架构设计、集群规划、安装部署、项目离线分析、项目实时分析以及大数据数据可视化。

一、项目需求分析

【用户日志分析系统】

项目业务需求

  1. 采集用户海量浏览日志信息。
  2. 实时统计分析TopN用户浏览最高的新闻话题。
  3. 实时统计分析已经曝光的新闻话题总量。
  4. 实时统计用户新闻浏览量最高的时间段。

二、系统架构设计

在这里插入图片描述

三、数据流程设计

在这里插入图片描述

四、集群角色规划

最低0.47元/天 解锁文章
学不会K8S不改ID
关注
专栏目录
系统架构设计师【第19章】: 大数据架构设计理论与实践 (核心总结)
数据知道的博客
06-04 7088
大数据架构主要面向大数据的容量体量、类型多样、高速实时、客观真实、价值可观、变化多 样和复杂多源的特性，既要构建高质量属性的架构解决方案，又受制于成本、性能、可扩展性等诸多条件。同时，云计算、物联网以及边缘计算等客观环境的发展，也对大数据架构的设计提出了弹性、容器化等新的要求。
大数据需求分析.doc
06-22
数据接入系统 数据接入系统作为底层基础支撑性服务，是大数据平台的核心组成部分。数据接入系统 通过提供多种数据接入工具，将政府各部门和来自互联网的结构化和非结构化的数据进 行统一的汇聚接入，并为政务大数据平台提供原始数据支撑。 数据存储系统 数据存储系统作为数据采集的上层系统，作为数据分析共享的支撑系统，也是大数据平 台的核心组成部分。数据存储系统需要满足对结构化数据、非结构化数据和半结构化数 据的统一存储和查询的需求。查询的高效性和存储的安全性是数据存储系统的两项关键 指标。 数据分析系统 数据分析系统作为政务大数据平台提供数据深度挖掘和分析服务的核心系统，利用分布 式存储和并行计算框架，结合多种分布式计算引擎，对各类结构化、半结构化及非结构 化的信息资源进行快速的分布式计算、并提供基于关联、聚类、分类、预测等类算法库 以及可视化组件、拖拽式的数据挖掘分析开发工具包。 平台管理系统 提供数据资源管理、元数据管理、目录管理、组织人员管理、用户权限、数据接入和共 享服务运行监控、日志审计及平台运维等平台运行和系统管理功能。 ----------------------- 大数据需求分析全文
大数据项目实战之三:3.需求分析
longwenyanlan的博客
11-28 4778
需求: 1、按条件筛选session 2、统计出符合条件的session中，访问时长在1s~3s、4s~6s、7s~9s、10s~30s、30s~60s、1m~3m、3m~10m、10m~30m、30m以上各个范围内的session占比；访问步长在1~3、4~6、7~9、10~30、30~60、60以上各个范围内的session占比 3、在符合条件的session中，按照时间比例随机抽取1000...
数据分析项目-项目需求
qq_51924093的博客
03-02 210
大数据综合项目DocCloud之需求分析与功能实现详细（续更）
weixin_30951389的博客
10-29 307
DocCloud项目需求 项目背景： 在一些大型企事业单位，工作中存在各种各样的工作文档，技术文档，规范等等。这些文档以word,xls,ppt,wps,pdf,txt存在。在此项目之前，文档的分享主要靠单位内部人员的互相发送。没有一个统一的平台对企业现存的各种文档进行统一管理。DocCloud项目提供了统一的文档管理平台。用户可以将文档上传至平台，所有其他用...
项目需求分析及设计思想
weixin_46567314的博客
08-17 491
1.1 数据收集 主要数据类别: 用户行为日志数据,业务数据,历史数据,其他等数据 行为日志一般以日志文件存在的,把日志生成在日志服务器上.使用flume等采集 业务数据 一般在mysql 一般用sqoop工具采集 1.2处理流程 行为数据: 1, 日志前端埋点,生成日志数据(前端开发) 2, 数据采集 flume采集 3, 从flume采集kafka 4, Flume采集落地hdfs 5，日志预处理 6，落hive数仓明细层 1, 业务系统增删改数据库，形成数据 ...
云计算与大数据应用开发 第四章：网络爬虫.pdf
12-11
**云计算与大数据应用开发——网络爬虫** 网络爬虫，又称网页蜘蛛或网络机器人，是自动从互联网上抓取和提取网页数据的程序或脚本。它的存在是为了解决从海量网页中获取特定信息的需求，无论是搜索引擎用于索引网页...
云计算与大数据应用开发 第五章：大数据处理.pdf
最新发布
12-11
《云计算与大数据应用开发》第五章主要探讨了大数据处理这一主题。大数据处理是现代信息技术领域中的关键组成部分，它涉及到海量数据的存储、管理和分析，以提取有价值的信息并推动业务决策。 首先，章节介绍了大...
大数据项目实战—招聘网站大数据职位分析
05-20
在大数据项目实战中，"招聘网站大数据职位分析"是一个典型的案例，它涵盖了多个重要的IT知识点。这个项目旨在通过收集、处理、分析招聘网站上的职位信息，挖掘出行业趋势、热门技能以及人才需求等有价值的数据。 1....
数据库设计之需求分析
学习日常分享
12-30 5586
需求分析的任务 需求分析就是分析用户的要求 是设计数据库的起点 结果是否准确地反映了用户的实际要求，将直接影响到后面各个阶段的设计，并影响到设计结果是否合理和实用 需求分析的任务 详细调查现实世界要处理的对象（组织、部门、企业等） 充分了解原系统（手工系统或计算机系统）工作概况 明确用户的各种需求 在此基础上确定新系统的功能 新系统必须充分考虑今后可能的扩充和改变 调查的重点是“数据”和“处理”，获得用户对数据库的要求 （1）信息要求 用户需要从数据库中获得信息的内容与性质 由信息要求可以导出数据要求，即在
大数据日志分析实战
08-08
大数据日志分析实战大数据日志分析实战大数据日志分析实战大数据日志分析实战
大数据日志分析项目架构
weixin_34235457的博客
11-03 648
老是弹出由于您编辑时间过长，页面和服务器之间的连接已断开，请先将文章内容另外保存，再刷新本页面继续编辑让我保存页面我也是醉了，图片多没法一次上传，上传图片还一直失败，我只好都放在一个附件里面了。阿里能花点心思把网址做好一点么 共两个开发项目，git地址：https://github.com/dengziming/hongya-report.git,htt...
软件需求学习小结
weixin_30486037的博客
11-29 79
转自：http://blog.csdn.net/byxdaz/archive/2009/10/05/4633853.aspx 需求层次: 层次内容描述呈现方式业务需求组织机构或客户对系统、产品高层次的目标要求。项目视图与范围文档中予以说明用户需求用户使用产品必须要完成的任务Use Case功能需求必须实现的软件功能需求规格说明文档中功能需求说明非功能需求系统展现...
大数据时代数据库的需求分析
hualalalalali的博客
08-09 871
有形商品的存放需要有实体库房，占用实际的空间。那么，无形物品是否也需要有实际的储存空间，答案是肯定的。在大数据时代，每天数以亿计的数据，都会有专门的数据库对数据进行整理归纳。是不同空间维度的数据存储空间。对于数据库需求的分析，在未来大数据领域将会起到至关重要的地位。数据库是怎样的存在，对它的能力又有哪些的需求呢？ 数据库作为应用系统当中最重要的一块，也是性能测试非常关注的一块，因此数据库的...
项目实训第一周（1）——项目需求分析
qq_33437329的博客
05-26 833
本周主要进行了项目需求分析，经过小组多次讨论，初步项目需求分析大纲如下（存疑部分在数据库设计时设计全面，在功能实现方面将随着迭代进行不断在基础功能上完善）： 一、   登录模块 １.不提供注册功能：用户为校内职工与学生，使用学号与工号直接登录。 ２.用户权限由管理员指定（是否有权限发布问卷）。 二、   功能模块 １.用户资料填写（登录时提醒填写邮箱）。 ２.投票 ①可投票人群范
客户需求分析8个维度_常规数据分析的3个维度以及5个优化点，信息流投放参考...
weixin_39614657的博客
11-27 629
最近大搜成本还挺好，反倒是信息流成本上涨，尤以头条为典型。广点通通过优化成本基本合理。之前说了很多搜索技巧，本篇总结分享一下我的信息流优化心得，内容较浅，仅供大家参考。首先是信息流数据分析，我认为可以从3个维度进行分析。其一是展现。信息流的展现比搜索的展现重要的多，原则上是信息流的展现越多越好，展现越多也就意味着覆盖的人群越多，人群越多线索才会多。信息流的展现，可以以万为单位，抛开小众行业，就常规...
大数据项目需求分析
m0_60258751的博客
09-26 1754
结合该项目案例的需求，满足实时计算场景，需要设计大数据实时分析系统，当然同时也可以设计离线分析系统。以大数据项目为主线，技术理论与项目实践相结合，按照大数据项目的开发流程逐步推进，本文主要讲解项目的需求分析、架构设计以及离线和实时数据流程设计，然后提前规划好大数据项目需要的集群，按照项目的实现逻辑，结合具体的技术组件详细讲解整个大数据项目的开发流程。接下来以广西壮族自治区糖业大数据平台项目项目，糖业数据采集+存储+治理+分析+可视化应用+共享的案例来进行需求分析，具体需求如下。
python数据分析之《太平洋汽车》点评数据及论坛文本分析
阿优乐扬的博客
09-28 6036
前言：这是我学数据分析以来，第一次用python进行数据分析实战，一边做，一遍看我平时做的笔记，查看别人的博客，同时也新加了很多我重来没有学过的新功能，幸不辱命，协助完成了一篇上档次的纯python毕业论文，以上所用到的数据均来自我爬取的《太平洋汽车》点评和论坛。学习编程真的是这样，如果自己不进行实战操作，永远不知道自己会遇见什么问题，也无从提升自己的能力，这是一个好的开始，简单的梳理一下自己所做的数据分析模块吧！
我们应当怎样做需求分析
热门推荐
yqmfly的专栏
06-20 14万+
又到新年了，日历又要从2011年翻到2012年了，这使我有太多的感慨，进而勾起了对太多往事的回忆。过去的10年，毫无疑问是中国软件业发展最快的10年。当我们刚刚毕业的时候，还在使用VB、PB开发一些简单的数据库应用，而现在却几乎看不到它们的踪影，换来的是诸如J2EE和.NET这样的大型web应用。而这期间，RUP、XP、敏捷开发、持续集成••••••一个接一个的新概念层出不穷，令人眼花缭乱。现在想
"大数据运维技术第2章：Hadoop平台安装及起源发展史
Hadoop是一个开源的分布式存储和计算平台，起源于Apache Nutch项目，由Doug Cutting和Mike Cafarella等人开发。2003年，谷歌发表了关于分布式存储系统GFS（Google File System）的论文，激发了Hadoop的诞生。2004年...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值