大数据项目架构-电信日志分析

最新推荐文章于 2024-05-11 21:10:32 发布
最新推荐文章于 2024-05-11 21:10:32 发布
阅读量1.7k 收藏 6
点赞数 1
分类专栏： Hadoop 文章标签： 大数据架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kokopop007/article/details/100141482
版权

项目名称：电信日志分析系统

项目描述：电信日志分析系统是以电信用户上网所产生的数据进行分析和统计计算，数据主要来源于用户的上网产生的访问日志和安全日志，通过Hadoop大数据平台完成日志的入库，处理，查询，实时分析，上报等功能，达到异常IP的检测，关键词过滤，违法违规用户的处理等，整个项目数据量在1T-20T左右，集群数量在10台到100台。

项目架构分析：

*数据采集层：ftp scoket方式
*数据存储层：HDFS
*数据分析层：MR/HIVE/IMPALA/Spark
*机器学习层：在大数据处理后的应用
*数据展示层：Oracla+SSM
在这里插入图片描述

思维导图：

在这里插入图片描述
在这里插入图片描述

kokopop007
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据分析案例5 电信流量统计案例
郭首志的博客
05-07 2693
http.log日志文件中，是电信运营商记录用户上网访问某些网站行为的日志记录数据，一条数据中有多个字段用空格或制表符分隔。例如："18611132889 http://v.baidu.com/tv 20 5000"是一条上网行为，第一个字段代表手机号码，第二个字段代表请求网站的URL，第三个字段代表请求发送的数据即上行流量（20字节），第四个字段代表服务器响应给用户的流量即下行流量（5000字节...
离线日志分析
qq_38250124的博客
05-10 1351
1 flume从web服务器收集（前端js向web服务器发送） 用tail命令获取数据，下沉到hdfs 启动命令： bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n a1 ######## # Name the components on this agent a1.sources = r1 a1.sinks = k1 a
大数据案例--电信日志分析系统
我睡觉的时候不困
03-23 3292
目录 一、项目概述 1、概述 二、字段解释分析 1、数据字段 2、应用大类 3、应用小类 三、项目架构 四、数据收集清洗 1、数据收集 2、数据清洗 五、Sqoop使用 1、简介 2、Sqoop安装步骤 3、Sqoop的基本命令 六、数据导出 七、数据可视化 1、概述 2、步骤 八、扩展 1、各个网站的表现能力 2、小区HTTP上网能力 3、小区上网喜好 4、查询语句 一、项目概述 1、概述 ①、当用户通过网络设备(手机、平板电脑、笔记本电脑等).
Hadoop之电信日志数据处理（二）------mapreducer端处理
往事流年的博客
06-19 827
实体类实现： public class HttpAPPHost implements Writable{ //发送报文时间 private String reportTime; private String cellid; private int appType; private int appSubType; //用户ip pr...
大数据最全架构设计之大数据架构（Lambda架构、Kappa架构），2024年最新不可多得的干货
最新发布
2401_84160041的博客
05-11 1467
分布式、面向列的开源数据库，适合于非结构化数据存储。【实时数据和离线数据均支持】。: 高可用/可靠，分布式海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。：一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。：开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。
大数据离线日志系统流程分析
longwenyanlan的博客
11-26 1983
1.我们的数据从哪里来?     互联网行业:网站,APP,系统(交易系统,管理系统...)     传统行业:电信,平时的上网,打电话,发短信等等数据 一般的数据来源有网站和APP     当我们登录浏览一个网站或者APP的时候,都要往我们的后台去发送请求,获取数据,执行业务逻辑;     APP获取要展现的商品数据,发送请求到后台进行处理      2.网站/app会发送请求到后台服务器，通常...
大数据架构师的基本职责[修改版].pdf
06-06
大数据架构师是信息技术领域中一个关键的角色，他们主要负责设计和构建能够处理、存储和分析海量数据的系统。以下是对大数据架构师基本职责的详细解析： 1. **平台架构设计与构建**： 大数据架构师需要规划从数据...
大数据平台应用案例分析.docx
10-14
该系统使用了大数据技术对海量日志数据进行实时处理和分析，实现了对网络优化和安全监控的改善。 1.2 恒丰银行企业数仓和历史数据分析探索平台 恒丰银行企业数仓和历史数据分析探索平台是一个金融行业中的成功案例...
基于Hadoop的大数据应用分析.pptx
01-07
然而，成功实施大数据项目不仅需要技术上的支持，还需要理解业务需求、合理的数据治理策略以及合适的云计算基础设施作为支撑。随着技术的不断发展，Hadoop将继续在大数据领域发挥关键作用，为企业提供更高效、更智能...
大数据应用分析45.pptx
10-02
除此之外，Hadoop生态系统还包括其他组件，如Pig、HBase、Chukwa、Hive和ZooKeeper等，它们提供了数据分析、日志收集、SQL查询、协调服务等功能，共同构建了强大的大数据处理平台。 【Hadoop大数据产品分析】 ...
电信服务器操作日志分析入库
09-29
中国移动的手机服务器日志下载分析并入库程序。项目刚完成，奉献给大家。希望对日志分析和远程下载有兴趣的朋友有帮助。
flightplot日志分析软件
11-03
用于分析PX4的ulog日志
用户在基站停留信息日志文件
03-12
本日志主要用在本人所写案例Spark实现在一定时间范围内 求用户在所有基站（lac）停留的时长 再取top2中使用，也可使用在自己模拟分析用户在基站停留时间分析使用。欢迎大家关注数据科学，关注我。谢谢
电信大数据平台规划
03-04
电信大数据整体规划，包括底层，中间层和上层的能力开放平台
大数据综合案例-网站日志分析
12-28
大数据综合案例-网站日志分析，主要是文档，使用大数据离线分析日志。
网站流量日志分析流程及架构
Running_Tiger的博客
02-06 4404
网站流量日志分析流程及架构 1.数据处理 2.系统架构 3.数据展现
日志数据处理相关
慢慢来的博客
08-16 301
s = "url=%2F&email=imtesting%40tempmail.com&password=hereispassword" print urllib.unquote(s) >>> url=/&email=imtesting@tempmail.com&password=hereispassword 为了将每一个标点和控制符都“转...
spark大数据分析实战案列1学习 （lamda架构日志分析流水线）
weixin_38624543的博客
02-26 1528
日志实例格式当数据量较小(10MB,100MB,10GB)可以通过Shell Python单机解决Linux Shell命令 :  cat access.log.10 |awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}'| sort -k2 -r |head -n 10   日志分析指标：    1：PV    2...
"大数据案例-技术论坛网站日志分析与关键指标计算
本项目主要是进行大数据综合案例-网站日志分析，通过离线分析网站日志，主要是文档形式。项目的背景是来自国内某技术学习论坛的数据日志，该论坛由某培训机构主办，汇聚了大量技术学习者，每天有人发帖、回帖。该...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值