生产环境！实战！电信支付系统使用Hadoop分析Apache日志！

最新推荐文章于 2023-01-31 13:53:13 发布
最新推荐文章于 2023-01-31 13:53:13 发布
阅读量1k 收藏
点赞数
分类专栏： 大数据IMF传奇行动－Spark Hadoop
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/50772280
版权
本文展示了如何在生产环境中使用Hadoop分析电信支付系统的Apache日志。通过正则表达式提取IP、日期和支付方式等信息，并利用MapReduce进行数据处理，最终输出支付行为的统计结果。
摘要由CSDN通过智能技术生成

1、输入数据


1.2.3.4- - [20/Feb/2016:00:05:11 +0800] "POST /zhifubao/zhifu HTTP/1.1" 200 1286
1.2.3.4 - - [20/Feb/2016:00:05:14 +0800] "POST /pay/zf HTTP/1.1" 200 96
2.2.3.4 - - [20/Feb/2016:00:05:15 +0800] "POST /zhifubao/zhifu HTTP/1.1" 200 1290
2.2.3.4 - - [20/Feb/2016:00:05:18 +0800] "POST /pay2/pay.do HTTP/1.1" 200 32
1.2.4.4 - - [20/Feb/2016:00:05:22 +0800] "POST /zhifubao/zhifu HTTP/1.1" 200 1285
1.2.3.5 - - [20/Feb/2016:00:05:23 +0800] "POST /zhifubao/zhifu HTTP/1.1" 200 1291
1.3.3.4 - - [20/Feb/2016:00:05:25 +0800] "POST /pay2/pay.do HTTP/1.1" 200 1976

 

2、正则表达式 取IP 日期 支付方式

package com.dt.java.test;

import java.util.reg

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
Hadoop集群部署实战指南
悦分享
09-24 2102
为什么使用大数据技术？数据量越来越大数据分析的实时性越来越强数据结果的应用越来越广泛我们需要使用大数据技术。大数据是收集、整理、处理大容量数据集，并从中获得结果的技术总称。Apache™Hadoop®项目用于可靠，可扩展的分布式计算的开源软件。Apache Hadoop是一个大数据处理框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Apache Hadoop可以从单个服务器扩展到数千台计算机。Apache Hadoop集群中每台计算机都提供本地计算和存储。
电信服务器操作日志分析入库
09-29
中国移动的手机服务器日志下载分析并入库程序。项目刚完成，奉献给大家。希望对日志分析和远程下载有兴趣的朋友有帮助。
大数据项目架构-电信日志分析
kokopop007的博客
08-29 1761
项目名称：电信日志分析系统 项目描述：电信日志分析系统是以电信用户上网所产生的数据进行分析和统计计算，数据主要来源于用户的上网产生的访问日志和安全日志，通过Hadoop大数据平台完成日志的入库，处理，查询，实时分析，上报等功能，达到异常IP的检测，关键词过滤，违法违规用户的处理等，整个项目数据量在1T-20T左右，集群数量在10台到100台。 项目架构分析： *数据采集层：ftp scoket方...
Hadoop之电信日志数据处理（三）------创建数据库及数据收集
往事流年的博客
06-19 905
=================================================================== #创建数据库 create database zebra; use zebra; #创建数据总表 create table F_HTTP_APP_HOST( reporttime datetime, cellid varchar(20), ...
58.大数据之旅——电信日志项目01
零零天
01-24 731
进程和线程 什么是进程？ 进程就是进展中的程序，或者说是执行中的程序。一个程序加载到内存后，就变为进程。 即：进程=程序+执行 进程模型的三个视角 为什么要引入进程机制？ 原因是为了实现多道编程。 多道编程的好处一是提高cpu的利用率。 举例：如果一个程序，有20%的使用cpu进行计算，另外80%的时间用来进行I/O 如果是单道编程，cpu的利用率是1-0.8=0.2。 如果是多道编程，比如两...
Hadoop海量文本处理3-中国电信
09-02
Hadoop海量文本处理3-中国电信
Hadoop总结
m0_67401382的博客
08-01 3793
大数据的4V大量化、快速化、多样化、价值密度低。大数据对思维方式的影响颠覆了传统的思维方式——全样而非抽样、效率而非精确、相关而非因果大数据对科学研究的影响实验、理论、计算、数据三次信息化浪潮第一次——1980——个人计算机为标志——解决信息处理——Intel、AMD、IBM第二次——1995——互联网——信息传输——雅虎、谷歌第三次——2010——物联网、云计算和大数据——信息爆炸——亚马逊、美团信息科技为大数据提供的技术存储设备容量增加、成本降低CPU性能提升数据变革阶段注。...
《ClickHouse企业级应用：入门、进阶与实战》1 全面了解ClickHouse
最新发布
程序员光剑
01-31 1万+
近年来，ClickHouse发展势头迅猛，社区、大厂纷纷跟进使用。面对万亿级的数据查询分析也能做到亚秒级响应。那么，ClickHouse 到底是何方神圣？为什么如此受青睐？各位看官，欲知 ClickHouse 为何方神圣，且往下看。本章我们先来了解什么是ClickHouse，内容包括ClickHouse是什么，它具有哪些特性，适用哪些应用场景等。1.1 ClickHouse 概述本节介绍 ClickHouse 是什么、发展历程，以及ClickHouse在 OLAP 生态中的位置。同时，简单介绍了 OLAP
HBase项目实战：HBase+Flume+Kafka+Hive+SSM实现电信大数据通话信息实时读写定位系统
萧邦主的城邦
08-21 4610
内容简介
基于Spark的用户上网WAP日志分析
11-14
在移动互联网时代，越来越活跃的用户手机上网行为带来了流量的迅猛发展。对电信运营商而言，用户上网日志包含了大量用户个性化需求、喜好信息，对其进行分析和挖掘，能更好的了解客户需求。传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求，搭建基于 X86的Hadoop平台，引入大数据处理技术的方式，实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择。文章主要以用户 WAP日志为例，详细阐述如何利用大数据技术处理海量的非结构化数据，进而挖掘和分析用户上网行为。
flightplot日志分析软件
11-03
用于分析PX4的ulog日志
联通研究院处长王志军：Hadoop在电信业大数据的应用
03-17 4568
联通研究院处长王志军：Hadoop在电信业大数据的应用 摘要：联通研究院处长王志军发表《Hadoop在电信业大数据的应用》主题演讲，据他介绍，联通第一次采用了开源技术，在这之前在电信行业当中比较少见，使用Hadoop、HBase等技术。 6月29日，第七届“开源中国 开源世界”高峰论坛在北京唯实国际文化交流中心召开。本届论坛主题为“开源融合创新移动互联未来”，聚焦开源与移动
Hadoop在电信大数据业务系统中的应用
weixin_34221332的博客
09-01 402
文章讲的是Hadoop在电信大数据业务系统中的应用，2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技...
Apache Spark+PyTorch 案例实战
段智华的博客
08-07 8096
Apache Spark+PyTorch 案例实战 随着数据量和复杂性的不断增长，深度学习是提供大数据预测分析解决方案的理想方法，需要增加计算处理能力和更先进的图形处理器。通过深度学习，能够利用非结构化数据（例如图像、文本和语音），应用到图像识别、自动翻译、自然语言处理等领域。图像分类：识别和分类图像，便于排序和更准确的搜索。目标检测：快速的目标检测使自动驾驶汽车和人脸识别成为现实。自然语言处理：准确理解口语，为语音到文本和智能家居提供动力。 深度学习面临的挑战：虽然大数据和人工智能提供了大量的潜力，但从.
大数据案例--电信日志分析系统
我睡觉的时候不困
03-23 3883
目录 一、项目概述 1、概述 二、字段解释分析 1、数据字段 2、应用大类 3、应用小类 三、项目架构 四、数据收集清洗 1、数据收集 2、数据清洗 五、Sqoop使用 1、简介 2、Sqoop安装步骤 3、Sqoop的基本命令 六、数据导出 七、数据可视化 1、概述 2、步骤 八、扩展 1、各个网站的表现能力 2、小区HTTP上网能力 3、小区上网喜好 4、查询语句 一、项目概述 1、概述 ①、当用户通过网络设备(手机、平板电脑、笔记本电脑等).
Spark的灵魂：RDD和DataSet
08-30
本课重点讲解Spark 的灵魂RDD 和DataSet。讲解RDD 的定义、五大特性剖析及DataSet的定义和内部机制剖析；对RDD 弹性特性七个方面进行解析；讲解RDD 依赖关系，包括窄依赖、宽依赖； 解析Spark 中DAG 逻辑视图；对RDD 内部的计算机制及计算过程进行深度解析；讲解Spark RDD 容错原理及其四大核心要点解析对Spark RDD 中Runtime 流程进行解析；通过一个WordCount 实例，解析Spark RDD内部机制； 基于DataSet的代码，深入分析DataSet一步步转化成为RDD 的过程。
电信业Hadoop应用分析
qq_35281775的博客
09-13 834
昨日，联通研究院处长王志军在第七届“开源中国 开源世界”高峰论坛上分享了Hadoop在电信行业大数据应用的经验。   　随着国内3G网络的发展，或者移动通信网络的发展，中国联通目前运营着世界上最大的CDMA网络，流量运营是中国联通一个重要特点。中国联通3G套餐当中流量占比非常非常大，中国联通3G用户流量使用情况也是非常可观的。而目前中国联通遇到一个世纪问题：随着流量的增长，3G流量的争议也迅
Hadoop之电信日志数据处理（一）------业务简介
往事流年的博客
06-19 2175
日志数据说明 日志里的某一条数据（以下为一整行数据，以| 为分割符）：77个属性--20 533||11|93287887015245963|6||||1|100.82.254.88|100.82.98.100|2152|2152|13849|147855076||||103|1409649427963|1409649428488|1|15|999||0|10.83.124.18||60914...
Hadoop集群实战：网站流量日志分析系统开发
综合项目-网站流量日志数据分析系统_lk_edit.pptx"中，本章深入探讨了如何利用Hadoop生态体系构建一个完整的网站流量日志数据分析系统。课程的核心内容围绕以下几个模块展开： 1. 系统概述： - 系统背景介绍：课程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值