![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
总结专用
文章平均质量分 81
午饭有鱼有虾9
这个作者很懒,什么都没留下…
展开
-
kafka回顾以及总结
kafka回顾以及总结 1、Kafka概述 1、kafka是什么? kafka是基于发布/订阅的消息队列 2、kafka应用场景? 实时:kafka一般用于实时场景 离线:kafka在工作中有时候会结合flume进行使用,此时kafka用于削峰 3、基础架构 producer: 生产者[向kafka中写入消息] topic: 主题,一般工作中一个业务对应一个主题 partition: 分...原创 2021-05-07 11:02:57 · 108 阅读 · 0 评论 -
redis回顾
1、redis介绍 1、redis是什么? redis是一个可以存储海量数据的内存数据库 2、redis的应用场景 redis一般用于关系型数据库的缓存,还可以用于实时场景 3、redis-server与redis-client 1、redis-server启动: redis-server [redis.conf] redis-server启动之后默认监听127.0.0.1:6379 2、redi...原创 2021-05-17 11:15:31 · 61 阅读 · 0 评论 -
Scala总结以及复习
1、变量与数据类型 1、注释 1、单行注释: // 2、多行注释: /* .. */ 3、文档注释: /** ..*/ 2、标识符的命名规范 scala中标识符必须是数字、字母、下划线、$、特殊符号,首字母不能是数字 scala特殊符号一般是scala内部使用 实际工作中,标识符命名依然采用驼峰原则 3、变量 1、语法: val/var 变量名:类型 = 值 ...原创 2021-05-26 09:38:12 · 418 阅读 · 0 评论 -
Spark core总结以及总结
1、RDD概述 1、什么是RDD: RDD是弹性分布式数据集 RDD代表的是弹性、可分区、不可变、里面元素可以并行计算的集合 弹性: 存储的弹性: 中间结果是保存在内存中,如果内存不足自动保存在磁盘 容错的弹性: task执行失败会自动重试 计算的弹性: 如果数据出错,会根据RDD依赖关系重新计算得到数据 分区的弹性: 读取HDFS文...原创 2021-06-02 16:45:28 · 179 阅读 · 0 评论