![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
语言学习
鹅厂码农一枚
互联网码农一枚
交流请+v备注来意
vx: kekezhixun
展开
-
2021-06-11
Redis的内存淘汰机制详解 开始前想的一个问题? 为什么会存在淘汰这个问题? 究其原因有以下几点: 1.配置Redis内存太小 内存应该如何配置才是合理的呢? 八二原理:既百分之八十的请求,访问了百分之二十的数据。 **命令行** config set maxmmory 5g 8种淘汰机制 allkeys-random:随机删除 allkeys-lru:使用 LRU 算法进行筛选删除 allkeys-lfu:使用 LFU 算法进行筛选删除 volatile-random:随机删除 volati原创 2021-06-11 10:00:26 · 81 阅读 · 0 评论 -
注意力机制
注意力机制 对输入的数据,你的关注点是什么?如果让计算机关注到这些有价值的信息。 如何计算 1.输入经过编码后得到的向量 2.得到当前词语的上下文关系,可以当作是加权 3.构建3个矩阵分别来查询当前词和其他词的关系,以及特征向量的表达。 3个需要训练的矩阵 Q:要去查询的 K:等待着被查询 V:实际的特征信息 Q与K用内积来进行表示。 内积越大,相关性越大。 最终的分值,经过softmax就是最终的上下文结果。 multi-headed机制 通过不同的head得到多个特征原创 2020-10-12 09:07:41 · 123 阅读 · 0 评论 -
Spark资源和调度框架
资源调度框架 宽窄依赖关系 RDD之间的宽窄依赖关系,只要看父RDD和子RDD之间的关系: 1.窄依赖: 父RD与子RDD之间是一对一的关系。子RDD有多个父RDD,也称为窄依赖,这样是依赖是窄依赖,窄依赖不会产生shuffle(节点之间数据的传输称为shuffle)。 *每个应用程序都有独立的excutors:不会存在共用的情况。一个job和action对应** 每组的任务被称为一个stage。stage是由并行的他上课组成 关于stage 1.每个partition中放的是逻辑,是一条数据进行原创 2020-09-29 09:58:29 · 360 阅读 · 0 评论 -
Spark理论学习
sparkAPI @zhouhonglin 1.RDD 弹性分布式数据集: RDD是由多个partition组成 最小单位是partition:与读取的block是一一对应的. 有多少个block就有多少个partion. 算子就是函数:作用再rdd的partition上的. 对弹性的理解:某个RDD损坏了,可以进行恢复.他们直接有依赖关系 分区器是作用在kv格式RDD上很难理解 partition提供数据计算的最佳位置,利用数据处理的本地化 计算移动,数据不移动 2.相关问题: 1. 什么是KV格式的原创 2020-09-27 10:17:16 · 1198 阅读 · 1 评论 -
Scala学习记录01
1.scala和java ------- java scala 字符串 Java需要采用“+”进行字符串的连接 scala采用三个双引号“”“支持换行字符串 方法和返回值 return scala的return是可选的,方法调用会自动返回最后求值的表达式。如果scala使用了return则需要显示指定方法的返回值 类和方法修饰的默认值 protected problic 默认导入的类 java.lang scala默认导入java.lang包、scala包、scala.Prede原创 2020-09-26 11:10:11 · 827 阅读 · 1 评论