读书笔记
文章平均质量分 78
失败的Cc
这个作者很懒,什么都没留下…
展开
-
《数据密集型应用设计》笔记
《数据密集型应用设计》笔记数据密集型应用概念对于一个应用系统,如果“数据”是其成败决定性因素,包括数据的规模、数据的复杂度或者数据产生与变化的速率等,我们就可以称之为数据密集型应用;与之相对的是计算密集型应用,CPU主频往往是后者最大的制约瓶颈。重要模块数据库:存储数据,方便下次访问。高速缓存:缓存复杂或者操作代价昂贵的结果,加快下一次操作。索引:用户可以按关键字搜索数据并支持各种过滤。流式处理:持续发送消息至另一个进程,处理采用异步方式。批处理:定期处理大量的累计数据。三个重要需求原创 2021-09-21 13:44:30 · 163 阅读 · 0 评论 -
《ODPS权威指南》笔记
《ODPS权威指南》笔记ODPS简介ODPS是什么**ODPS(Open Data Processing Services)**是一个海量数据处理平台,提供大数据处理的云计算服务,基于阿里巴巴自主研发的分布式操作系统开发,主要提供结构化和半结构化数据的存储和计算。ODPS的作用基于SQL构建大规模数据仓库和企业BI系统于DAG和Graph等分布式编程模型开发数据应用基于统计和机器学习算法开发大数据统计模型和数据挖掘ODPS的架构ODPS执行计划CREATE TABLE dw_log_原创 2021-09-21 13:42:33 · 566 阅读 · 0 评论 -
《FP In Scala》笔记
《FP In Scala》笔记纯函数是什么一个函数在程序执行的过程中除了根据输入参数给出运算结果之外没有其他的影响。举例intToString()函数只负责将Int转换为String,除此之外不应该做任何事情。+,接收两个可加数,返回一个结果。引用透明是什么表达式可以被它引用的值所代替作用惰性求值并行处理举例生成随机数函数式编程的好处没有副作用:不修改外部的值引用透明:不依赖外部的状态函数式编程和面向对象编程我来终结此贴原创 2021-09-21 13:40:42 · 149 阅读 · 0 评论 -
《HBase原理与实践》笔记
《HBase原理与实践》HBase概念HBase是一个稀疏的、分布式的、多维排序的Map。特征多维:这个特征是相对于普通Map而言,HBase的Map中的Key是多维(四元组)的,(<rowkey, column family: qualifier, type, timestamp>, value)。稀疏:即不是所有的列都需要有值,可以为空(不需要占用存储空间),这也是为了可以随时扩充列(否则每添加一个列都需要向其他列插入空值)。排序:构成HBase的KV在同一个文件中都是有序的,原创 2021-09-20 23:12:55 · 233 阅读 · 0 评论