![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
学习笔记
文章平均质量分 95
快速学习的笔记
pub.ryan
专注于大数据
展开
-
csapp-01:从程序员的角度去了解计算机系统的工作原理
写在开头:本人非科班,之前没读过,只听说是本好书,硬着头皮花了四天时间通读了一遍,书上画得密密麻麻的,尤其是在虚拟内存这一章到处写满注解,只能说这本书的确不好读。一直想把学习的心得整理出来,有很多只是自己的理解,有不恰当的地方只能待后面多读几遍或有专业人士看到时及时指出并慢慢来修正了,谢谢你能来。 Preface 1、csapp是一门什么课程 独立的、贯穿整个计算机系统的基础课程: 注意它的三个关键词 独立:因为现代的计算机系统不断更新迭...原创 2021-02-08 18:24:03 · 893 阅读 · 0 评论 -
Spark技术内幕读书笔记:Spark核心——Shuffle与性能调优模块详解
————Spark技术内幕读书笔记———— 本书的三个核心:RDD实现详解 Scheduler:DAGScheduler任务切分调度与TaskScheduler任务执行调度计算过程详解 Shuffle:性能调优详解原创 2021-01-29 18:44:55 · 396 阅读 · 0 评论 -
Spark技术内幕读书笔记:Spark核心——DAGScheduler任务切分调度与TaskScheduler任务执行调度计算过程详解
————Spark技术内幕读书笔记———— Scheduler任务调度充分体现了与MapReduce完全不同的设计思想。任务调度——多个DAG与多个Task之间如何分配计算资源!Spark对于DAG与Task的实现以及不同执行阶段的划分和任务的提交执行,充分体现了其设计的优雅与高效! ————第四章 Scheduler模块详解———— 任务调度整体架构将用户提交的计算任务按照DAG划分不同的阶段的计算任务提交到集群进行最终的计算...原创 2021-01-29 02:59:23 · 1014 阅读 · 0 评论 -
Spark技术内幕读书笔记:Spark核心——RDD实现详解
————Spark技术内幕读书笔记————深入解析内核架构设计与实现原理Spark究竟解决了什么问题?1.背景:在spark出现之前,hadoop的迅速发展,hadoop分布式集群,把编程简化为自动提供 位置感知性调度,容错,以及负载均衡的一种模式,用户就可以在普通的PC机上运行超大集群运算,hadoop有一个非常大的问题:hadoop是基于流处理的,hadoop会从(物理存储)hdfs中加载数据,然后处理之后再返回给物理存储hdfs中,这样不断的读取与写入,占用了大量的IO,后来hadoop出现原创 2021-01-28 22:11:30 · 411 阅读 · 0 评论 -
UTM广告分析参数
由于目前工作的一部分是为运营提供一些流量分析的支持,所以一些相应的基础知识就不得不学起来了。目前其中一种需求,就是统计广告的投放效果,常规做法就是添加追踪,在追踪链中添加utm参数,这样对于数据平台的聚合统计就比较方便了基本概念UTM : “Urchin Tracking Module”的简写,中文的大概意思就是跟踪模块,是一套标准的跟踪渠道流量的参数。功能: 追踪渠道来源,便于根据不同渠道、内容等细分数据,目的: 精细化运营分析场景:广告投放来源参数设置对比区分优劣渠道判断流量在转换计算原创 2020-12-12 14:58:42 · 35872 阅读 · 0 评论