LRU缓存淘汰算法优化

上文中提到了LRU 缓存淘汰算法,可以帮助我们更好更合理的去使用缓存。但是它也有一个缺点就是如果有一些不满足“如果数据最近被访问过,那么将来被访问的几率也更高”的规律时,会破坏缓存,导致性能下降。如果缓存的容量比较小,这样还会导致一些热点搜索词的缓存被替换了出去,有可能导致一瞬间大量的请求访问DB...

2019-05-18 15:06:52

阅读数 2

评论数 0

如何实现LRU缓存淘汰算法

一.简介 LRU(Least recently used,最近最少使用)算法根据数据的历史访问记录来进行淘汰数据,其核心思想是“如果数据最近被访问过,那么将来被访问的几率也很高”,反过来说“如果数据最近这段时间一直都没有访问,那么将来被访问的概率也会很低”。 二.实现 算法有两种策略(均以队列的方...

2019-05-18 14:42:45

阅读数 2

评论数 0

为什么很多编程语言中数组都从0开始编号

提到数组相信大家肯定不陌生,今天就尬聊一下为什么为什么很多编程语言中数组都从0开始编号. 在每一种编程语言中,基本都会有数组这种数据类型。不过,它不仅仅是一种编程语言中的数据类型,还是一种最基础的数据结构. 1.如何实现随机访问? 关于什么是数组?我相信你心中大家都很熟悉。这里就不讲了 下面举个栗...

2019-05-05 23:40:11

阅读数 21

评论数 0

spark sql on yarn 启动失败 ERROR client.TransportClient: Failed to send RPC RPC

19/04/17 02:54:57 ERROR client.TransportClient: Failed to send RPC RPC 7651764253676103503 to /10.169.12.139:45996: java.nio.channels.ClosedChannelEx...

2019-04-17 18:05:26

阅读数 41

评论数 0

获取shell运行的时候传递的参数

这边主要介绍常用的两个方法 $1,$2,$3 的方式$1 就是第一个 $2 就是第二个 while [ $# -gt 0 ]; do case $1 in -sql_file_path) echo "$2" shift ;; ...

2019-03-21 13:14:24

阅读数 22

评论数 0

shell获取 上一个月的第一天个最后一天

第一天:echo `date "+%Y-%m-%d" -d "-1 month -$(($(date +%d)-1)) days"` 最后一天:echo `date "+%Y-%m-%d" -d "-$(date +%d) d...

2019-03-21 13:11:50

阅读数 62

评论数 0

spark2.0源码解析(三) : spark class 脚本解析

下面重点来了,上两篇中介绍到了 spark-shell spark-submit 实际上都是调用了 这个脚本,那这个脚本有什么神奇呢 我们来揭秘一下。 不多说直接上脚本 #!/usr/bin/env bash # # Licensed to the Apache Software Founda...

2019-03-16 16:52:44

阅读数 45

评论数 0

spark2.0源码解析(二) : spark submit 脚本解析

从上一篇文章中我们得知 spark-shell 实际上调用的是 spark-submit 脚本 本篇来看下 spark submit 脚本实现。 if [ -z "${SPARK_HOME}" ]; then source "$(dirna...

2019-03-16 14:15:42

阅读数 29

评论数 0

spark2.0源码解析(一) : spark shell 脚本解析

之前对于spark , 主要是使用 没有太过深入的去了解底层原理 和 源码 ,在开发过程 ,发现遇到一些问题无从下手 ,准备投入源码的怀抱了 。 先从spark-shell 开始 相信许多人都 使用过spark-shell 那几天 来看看 spark-shell 我们运行那个脚本到底干了什么。下面...

2019-03-16 13:48:52

阅读数 48

评论数 0

leetcode:combination-sum-ii

题目:https://leetcode.com/problems/combination-sum-ii/ 这题主要是使用数组里面的数字求出期望数字的组合可能这个要多一个去重 下面是官方给出的例子 Example 1: Input: candidates = [10,1,2,7,6,1,5], t...

2019-03-06 12:45:47

阅读数 26

评论数 0

leetcode:combination-sum

题目:https://leetcode.com/problems/combination-sum/ 这题主要是使用数组里面的数字求出期望数字的组合可能 下面是官方给出的例子: Example 1: Input: candidates = [2,3,6,7], target = 7, A solu...

2019-03-06 11:32:57

阅读数 33

评论数 0

shell获取文件总行数的6中方法

awk '{print NR}' test1.sh|tail -n1 awk 'END{print NR}' test1.sh grep -n "" test1.sh|awk -F: '{print '}|tail -n1 sed -n '$=' test1....

2019-02-24 23:34:42

阅读数 128

评论数 0

招聘季让面试官颤抖吧之sql实现分组topN

之前被问到了如何用纯的sql 实现分组top 尽然写不来了,也是大写的尴尬。 回来后特地复习了一下sql 知识 首先我们创建一张表 CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(2...

2019-02-24 23:12:19

阅读数 73

评论数 0

招聘季让面试官颤抖吧之G1收集器和CSM收集器对比

一. CMS 并发标记清除(CMS)收集器(也叫并发低延迟收集器)回收年老代垃圾。它通过和应用线程并发的执行大部分垃圾收集工作的方式来尝试最小化垃圾回收引起的暂停。正常情况下并发低延迟收集器不会复制或者压缩活跃对象。一次垃圾收集的完成不必移动活跃对象。如果内存碎片成为一个问题,那么分配更大的堆空间...

2019-02-24 17:30:09

阅读数 128

评论数 0

spark从入门到放弃五十五:设置executor 数量 和task 并行数

一.指定spark executor 数量的公式 在spark standalone 模式下无法直接指定每个worker 创建多少个executor 但是我们可以使用这样的方式。 executor 数量 = spark.cores.max/spark.executor.cores spark.c...

2019-02-24 00:03:42

阅读数 95

评论数 0

spark推测执行

一. 简介 再我们run spark job 的时候 有时候可能会遇到 很少一部分task 运行的时候出错了或者卡住了。又不想直接重新run 一下 这样太不方便了而且还需要手动参与。 spark 为了这样的情况提供了了一种机制叫推测执行这种机制默认是关闭的需要手动开启。 二. 配置 设置 spar...

2019-02-23 16:36:40

阅读数 78

评论数 0

spark submit参数及调优

两天面试两次被问到submit 参数调优这一块 ,平时都是直接使用没有深入去理解,有点被问的一脸懵的感觉,刚好周末来整理一下这一块的内容,充实一下。 首先学习当然要去官网了 这里是官网给的一个例子: ./bin/spark-submit \ --class &a...

2019-02-23 15:59:52

阅读数 75

评论数 0

招聘季让面试官颤抖吧之linux用户操作

今天被问到linux 用户操作竟然忘记了,明明之间还用过大写的尴尬。下面主要复习一下linux 用户操作。 Linux 系统是一个多用户多任务的分时操作系统,任何一个要使用系统资源的用户,都必须首先向系统管理员申请一个账号,然后以这个账号的身份进入系统。用户的账号一方面可以帮助系统管理员对使用系统...

2019-02-21 00:00:48

阅读数 31

评论数 0

spark 闭包理解

在spark 应用中,在处理函数,变量的作用范围和生命周期需要十分的注意特别是在spark集群模式下。比如如下的模式在rdd的操作中修改变量的值。 下面举一个例子 rdd 求和,比如下面一段代码,在看起来结果像是45,但是实际上是0 var sc = new SparkContext(new...

2019-02-17 22:20:27

阅读数 117

评论数 0

招聘季让面试官颤抖吧之双亲委派模型

大致就是:Java虚拟机先从最核心的API开始查找,防止不可信的类扮演被信任的类。 启动类加载器 Bootstrap ClassLoader:加载<JAVA_HOME>\lib目录下核心库 扩展类加载器 Extension ClassLoader:加载&...

2019-02-17 09:19:48

阅读数 156

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭