大数据之路、阿里巴巴大数据实践读书笔记 --- 第二章、日志采集

最新推荐文章于 2022-04-17 14:32:08 发布
最新推荐文章于 2022-04-17 14:32:08 发布
阅读量1.1k 收藏
点赞数
分类专栏： 大数据挖掘与大数据应用案例 数据仓库 文章标签： 日志采集 大数据之路、阿里巴巴大数据实践 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012965373/article/details/103945999
版权
大数据挖掘与大数据应用案例 同时被 2 个专栏收录
536 篇文章 1680 订阅 ¥9.90 ¥99.00
订阅专栏
数据仓库
86 篇文章 1366 订阅 ¥9.90 ¥99.00
订阅专栏
本文介绍了阿里巴巴大数据实践中的日志采集，包括PC-WEB端的Aplus.JS和App端的UserTrack系统，重点讲解了页面浏览和交互日志的采集流程，以及客户端和服务器端的重要步骤。此外，还提到了数据清洗、预处理和无线客户端的日志采集，强调了数据传输中的关键考量因素如服务器接收能力、数据传输能力和实时分析处理能力。
摘要由CSDN通过智能技术生成

一、日志采集两大体系：

  • Aplus.JS   PC-WEB端

  • UserTrack   App-端

 

二、主要统计：

  • 页面浏览（展示）日志采集

    • PV - Page View  页面浏览量

    • UV - Unique Vistor 唯一的访问用户（去重后）

  • 页面交互日志采集

    • Banner等

 

 

 

三、采集流程

A.页面浏览日志采集流程：

(1).用户浏览器内点击淘宝首页链接；

(2).浏览器向taobao发起HTTP请求；

按照HTTP协议，一个标准HTTP请求由如下三部分组成：

  • 请求行（HTTP Request Line）;

  • 请求报头（HTTP

了解本专栏 订阅专栏 解锁全文
杨鑫newlfe
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
大数据之路、阿里巴巴大数据实践读书笔记 --- 第十章、维度设计
杨鑫newlife的专栏
04-03 817
零、写在前面 此章节是我读到现在较难懂的一部分，如果数据仓库水平、处理的数据量、业务种类并不多的情况下，很多情况还是较难理解的，希望大家可以对不懂的地方多读些，欢迎交流讨论； 内含拉链表，以及极限压缩等部分，对于数据仓库模型的优化很有帮助； 一、维度设计基础 维度的基本概念 维度是维度建模的基础和灵魂； 在维度建模中，将度量称为“事实”，将环境称为...
《大数据之路：阿里巴巴大数据实践》第一篇 数据技术篇-读书笔记
程序员学习圈
09-09 880
2.日志采集 本章主要介绍数据采集中的日志采集部分，阿里巴巴的日志采集体系方案包括两大体系： Aplus.JS是Web端（ 基于浏览器）日志采集技术方案； UserTrack是APP端（无线客户端）日志采集技术方案。 本章从浏览器的页面日志采集、无线客户端的日志采集以及我们遇到的日志采集挑战三块内容来阐述阿里巴巴的日志采集经验。
《阿里巴巴大数据实践-大数据之路》读后感言
qq_39744051的博客
01-28 4006
首先放出一张阿里的整个体系架构图，后面如有看不懂本书的可以回头再看下此图：
《大数据之路：阿里巴巴大数据实践》总述-读书笔记
程序员学习圈
09-08 842
今天花了些时间较为详细的阅读了《大数据之路：阿里巴巴大数据实践》，主要内容如下及后续篇幅。 从下至上依次分为数据采集层、数据计算层、数据服务层、数据应用层。 　　 数据采集层：以DataX为代表的数据同步工具和同步中心。 　　 数据计算层：以MaxComputer为代表的离线数据存储和计算平台。 　　 数据服务层：以RDS为代表的数据库服务（接口或者视图形式的数据服务）。 　　 数据应用层：包含流量分析平台等数据应用工具。
阿里巴巴大数据之路读书分享
喜上眉梢
08-16 2294
阿里巴巴大数据之路读书分享 文章目录阿里巴巴大数据之路读书分享前言阿里巴巴大数据系统的体系架构图及介绍数据采集层数据采集数据传输数据计算层离线数据开发实时数据开发数据服务层数据应用数据模型模型体系架构模型实施维表设计事实表设计规范定义结语 前言 《阿里巴巴大数据之路》业内公认好书，几乎人手一本，奈何绝版了。托公司的福，有幸拜读此书。特分享下本人的所读所感。 本人将借用两张图来介绍此书，其一阿里巴巴...
大数据之路 阿里巴巴大数据实践 读书笔记
南风晚
03-19 2287
一 、总述 人类正在从IT时代走向DT时代。现在的数据呈爆炸式增长，其潜在的巨大价值有待发掘。但是如果不对数据进行有序、有结构的分类组织和存储，它将变成一场灾难。 在阿里内部，数据的存储达到EB级别。这些给数据采集、存储、计算都带来了极大的挑战。随着数阿里内部数据量的剧增，以及日益丰富的业态，这些都给大数据系统的构建提供了更复杂的要求。 本书介绍的阿里巴巴大数据系统架构，就是为了满足不断变化的业务...
《大数据之路 阿里巴巴大数据实践》笔记
weixin_39553978的博客
03-31 1187
第1章 总述 阿里巴巴大数据系统体系主要分为，数据采集、数据计算、数据服务和数据应用四大层次。 数据采集工具：web端、App端、H5 数据计算层：数据存储、云计算平台（离线计算平台、实时计算平台、数据整合管理体系ONE DATA） 数据服务层：以数据仓库整合计算好的数据作为数据源，对外通过接口的方式提供数据服务，主要提供简单数据查询服务，复杂数据查询服务和实时数据推送服务三大特色数据服务。 数据...
大数据之路、阿里巴巴大数据实践读书笔记 --- 第一章、总述
杨鑫newlife的专栏
01-11 1099
一、大数据系统体系架构图大纲 1层 - 数据应用层 对内 内平台 对商家 对公众 2层 - 数据服务层 服务&基础数据源 数据服务&基础工具层 3层 - 数据计算层 离线计算 实时计算 数据公共层 4层 - 数据采集层 数据库同步 日志采集 二、架构层级分析： A.数据...
大数据之路、阿里巴巴大数据实践读书笔记 --- 第五章、实时技术
杨鑫newlife的专栏
03-19 475
— 数据的分类 根据实效性对数据分三大类： 离线：在今天（T）处理N天前（T-N， N >= 1）的数据延迟时间粒度为天； 准实时：在当前小时（H）处理N小时前（H - N， N > 0, 如 0.5 小时、1 小时等）的数据，延时时间粒度为小时； 实时：在当前时刻处理当前的数据，延迟时间粒度为妙； 【注意】：离线数据仓库的T + 1模型与这里的数据模型...
[连载]《大数据之路：阿里巴巴大数据实践》之日志采集
weixin_34403693的博客
08-23 201
作者简介 阿里巴巴数据技术及产品部。定位于阿里集团数据中台，为阿里生态内外的业务、用户、中小企业提供全链路、全渠道的数据服务。作为阿里大数据战略的核心践行者，致力于“让大数据赋能商业，创造价值”。现在，阿里巴巴数据技术及产品部正通过技术和产品上的创新，探索全域数据的价值，将阿里在大数据上沉淀的能力对外分享，为各行各业的发展带来更多可能性。 本章内容摘...
《大数据之路》读书笔记
每天更新大数据面经和技术
04-17 1554
  强烈推荐大数据开发工程师读一读阿里的《大数据之路》这本书。读完这本数之后会对整个大数据体系有一个更深入的理解。目前读书笔记还在更新中。关注公众号回复 802 可获取 pdf。 下面给出书籍的目录和读书笔记。
大数据之路——阿里巴巴大数据实践：日志采集要点
流的博客
01-20 1085
1.基于UT（user visit）采集的“透传参数功能” 透传参数功能，即把当前页面的某些信息，传到下个页面，甚至是下下个页面的日志中。比如：访问淘宝，搜索“连衣裙”->list页面->商品A，分析商品A的时候，顺带着，list页面和“连衣裙”关键字都会被放入A的日志中了，给以后数据分析带来了很大的方便。 2.客户端日志聚合 在客户访问页面时，我们提前在客户端进行日志聚合，减少...
阿里数据自由之路总结之日志采集
bigdata_wangzhe的博客
03-21 303
浏览器的页面型产品／服务的日志采集可分为如下两大类。 页面浏览（展现）日志采集 顾名思义，页面浏览日志是指个页面被浏览器加载呈现时采集的日志。 页面交互日志采集 当页面加载和渲染完成之后，用户可以在页面上执行各类操作。 页面浏览日志采集过程 客户端日志采集。日志采集工作 般由 小段被植人页面 HTML 文档内的 JavaSc ript 脚本来执行。 客户端日志发送。采集脚本执行时，会向日志服务器发起 请求，以将采集到的数据发送到日志服务器。 服务器端日志收集 服务器端日志解析存档。 页面交互日志采集
大数据之路、阿里巴巴大数据实践读书笔记目录
杨鑫newlife的专栏
01-12 1978
该系列持续更新中： 第一章： 大数据之路、阿里巴巴大数据实践读书笔记 --- 第一章、总述 第二章： 大数据之路、阿里巴巴大数据实践读书笔记 --- 第二章、日志采集 第三章： 大数据之路、阿里巴巴大数据实践读书笔记 --- 第三章、数据同步 ...
阿里三面：你的日志采集系统是怎么做的？用了那些高大上的技术呢？
wenyusuran的专栏
08-27 1199
概述 业界现状 从头开始写一个日志采集Agent 如何发现一个文件? 点位文件高可用 如何识别一个文件? 如何知道文件内容更新了? 如何安全的释放文件句柄? 总结 概述 日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集Agent在其中扮演着重要的角色..
阿里巴巴Java开发手册之日志规约
qq_37745636的博客
09-11 473
日志规约 应用中不可直接使用日志系统（Log4j、Logback）中的API，而应依赖使用日志框架SLF4J中的API。使用门面模式的日志框架，有利于维护和各个类的日志处理方法统一。 日志文件推荐至少保存15天，因为有些异常具备以“周”为频次发生的特点。 应用中的扩展日志（如打点、临时监控、访问日志等）命名方式：appName_logType_logName.log。logType为日志类型，推...
阿里log日志处理方法总结
little-book
11-13 1033
基础指标监控-Prometheus Prometheus已经成为了云原生领域监控的事实标准，如果说开启云原生的第一步是拥有一个Kubernetes环境，那Prometheus就是云原生下监控的第一步。详情 SLS （阿里的日志工具） 日志服务（Log Service）机器学习功能 日志服务（Log Service）机器学习功能为您提供多种功能丰富的算法和便捷的调用方式，您可以在日志查询分析中通过SELECT语句和机器学习函数调用机器学习算法，分析某一字段或若干字段在一段时间内的特征。功能分析 支持单时序
大数据之路——阿里巴巴大数据实践：总述
流的博客
01-20 2509
阿里巴巴大数据系统架构图： Aplus.JS是web端日志采集技术 UserTask是APP端日志采集技术 TimeTunel（TT）是一个消息队列 DataX是一个数据同步工具，将下层的不同的DB兼容在一起 MaxCompute是离线计算平台 StreamCompute是实时计算平台 OneData是数据整理和管理的体系和工具，构建统一、规范、可共享的全栈数据体系，避免数据的冗余和重复建设，...
大数据spark企业级实战版【学习笔记】---spark简介
最新发布
03-16
Spark是一个基于内存计算的分布式计算框架，它可以在大规模数据处理中提供高效的数据处理能力。Spark支持多种编程语言，包括Java、Scala、Python和R等，可以在不同的数据处理场景中灵活应用。Spark的核心是RDD（弹性分布式数据集），它是一种分布式的内存抽象，可以在不同的节点上并行处理数据。Spark还提供了许多高级API，如Spark SQL、Spark Streaming、MLlib和GraphX等，可以满足不同的数据处理需求。Spark的优点包括高速、易用、可扩展性强等，因此在大数据处理领域得到了广泛应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杨鑫newlfe

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值