- 博客(143)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Murmurhash-go源码阅读
源码地址：https://github.com/spaolacci/murmur3如何理解它说的原生go实现：底层实现不依赖c和c++的库，只用go的标准库实现。分析一下TestRefStrings中的对于128位的murmur3算法进行分析// New128WithSeed returns a 128-bit hasher set with explicit seed valuefun...
2020-05-06 16:37:38
1788
原创 后端存储课程笔记（大量实战经验）
课程内容： 极客时间-后端存储电商系统：幂等性，工作中也多次见到其实现了。一个幂等操作的特点是，其任意多次执行所产生的影响均与一次执行的影响相同在电商系统中，防止重复下单如何解决： 因此提供一个接口返回给前端订单id， 然后下订单的时候把此id当成主键id或者uniqueId就能防止重复下单(不管是重复请求还是网络超时重试都不影响mysql的主键唯一性)ABA问题如何解决： 提供的答案...
2020-04-08 18:11:18
4554
原创 高并发系统项目开发实战经验
最近参与实现了一个10w-qps项目，学习了各位大佬们的思路和代码。记录分享一下一些拙见。一般的架构瓶颈首先出现的都是存储瓶颈redis官方给出的单key的最高qps大概是10w/s，自己测了一下多个命令get、set、zadd等等都能达到10w/s(本机)用redis存储的话，几乎就能支持接近10wqps量级的流量。但也带来的持久化的问题，自己的想法(口嗨)：----------a ...
2020-04-08 15:44:34
2929
原创 golang 限流器
额，最近工作可能要接一个qps比较高的任务。所以调研一下常用的限流方法，发现常用的还是令牌桶算法。https://blog.csdn.net/a314368439/article/details/84026680其算法主要思想是：往一个桶里面放令牌， 判断能够进来的条件就是能否获得令牌。令牌生成思路就是： 可以生成令牌数 = 根据当前时间 - 上次生成时间 / 生成一个令牌的间隔每一此...
2020-03-31 11:43:46
593
原创 如何写出优雅的go代码
今天又看到一篇很不错的文章：https://mp.weixin.qq.com/s/yiU18PzHDxeCXc5YR5x9Ow感觉比较有用的建议1 目录结构├── LICENSE.md├── Makefile├── README.md├── api├── assets├── build├── cmd├── configs├── deployments├── docs├...
2020-03-24 18:47:20
310
原创 go 实现超时退出
之前手写rpc框架的时候，吃多了网络超时处理的苦，今天偶然发现了实现超时退出的方法，赶紧保存一下， 然后感叹一下自己好弱啊，想象力创造力太匮乏了来源： https://juejin.im/post/5e774a73e51d4526c70fd0a4func AsyncCall() { ctx, cancel := context.WithTimeout(context.Background()...
2020-03-24 18:16:00
367
原创 go2 泛型
学习资料： https://gocn.vip/topics/10071https://www.bilibili.com/video/av97437986?zw
2020-03-22 14:18:59
361
原创 Docker 学习笔记
前言：虽然不是运维工程师，但是平时上测试、上线都是有用过docker和k8s，对容器、镜像也有一些似懂非懂的经验，所以对常用的工具也是需要有一个系统而全面的了解，必要的时候也可以进行问题的快速处理。抱着这个想法决定记录下自己对这些的学习、理解和问题处理的记录。Docker篇：课程资料：https://www.bilibili.com/video/av27122140?from=search&...
2020-02-13 17:52:08
146
原创 kafka 学习笔记
P5 介绍topic的分类作用以及主题分区partition的提高负载均衡的能力，同一个主题下的一个分区可以放在集群的多个机器上(分布式), 同时也提高了并发。 当一个分区在多个集群上时，会存在leader和follow,从节点属于副本，仅仅用来做备份，或者升级为leader。所以我们只能连接leader。作用:高可用。介绍了消费者组的概念。一个分区下的消息只能被同一个消费者组里面的一个消费者...
2020-01-28 15:05:27
172
原创 问题汇总
网络：为什么tcp 要三次握手，以及四次挥手中为什么有个time_wait的状态---https://www.cnblogs.com/cenglinjinran/p/8482412.html tcp 状态码含义：https://blog.csdn.net/iechenyb/article/details/78336826 tcp 拥塞控制：https://blog.csdn.net/m...
2020-01-19 14:48:48
203
原创 操作系统课程学习笔记
系列课程：https://www.bilibili.com/video/av30708793/?spm_id_from=333.788.videocard.1https://www.bilibili.com/video/av51437944?from=search&seid=16500105152254661287特别想知道的几个点：关于内存的分页关于信号量这个东西要点记录：P...
2020-01-06 21:05:21
241
原创 基础知识------我所知道的、应该知道的
1.0 版本 ： 2019-12-1：1 hashmap 的原理 源码解析（这里有个很大的疑惑， 1.7版本和1.8版本的源码存在一些出入，包括初始容量、阈值、负载因子实现方式都有改变，让人很是疑惑。）选了一个讲的很详细的视频：https://www.bilibili.com/video/av68945084?from=search&seid=14077771566901559...
2019-12-12 19:41:14
1310
原创 redis击穿注意
之前有个写法一直没注意：if redis=None info = get_from_db with_lock redis: info->redis这样写不好，一开始觉得这样写锁的时间短但是如果并发量足够大的话，那么100w个请求过来，拿不到redis，就会有100w个请求直接打到db上去。。。。。理论上这个应该让一个请求打到db，其他请求...
2019-10-14 12:27:50
120
原创 类似微博抖音评论分页的简单设计与实现
最近在做一个评论分页的实际问题假设以点赞数排序， 有page_index ，以及 每个评论有个id我们假设以每一页的最后一个id在zset中的rank作为left ， rank+page_size 为right， 那么对于实时的分页来说，存在这么一个问题假设前端已经获取了列表1:comment-1comment-2comment-3comment-4commen...
2019-06-21 15:38:36
1884
2
原创 一个redis-lock的疑问
payed_key = VALENTINES_DAY_2019_IS_PAYED_DATE_FORMAT % (uid, t_uid, date_str,event_name) # 拿到所有的文件，进行扣钱，发送操作 with events_cacher_v2.get_redis_lock(payed_key): if events...
2019-02-18 21:24:30
684
1
原创 工作中遇到的一些坑，以及解决方法的随笔记录
git假如 我现在在修改hotfix， 在下面新建了一个 yhy_hotfix 并且修改完了，(push到了远端)最好是所有的东西都走一遍hotfix1 切换到 hotfix2 git pull origin hotfix3 run test ( control+R 按多次就是上翻)4 merge yhy_hotfix5 run rest6 git push all...
2018-10-12 21:30:01
544
原创 golang 学习
资料一：https://github.com/Tinywan/golang-tutorial/blob/master/docs/golang_tutorial_01.md感觉和python 差别并非很大，所以只记录一些不一样的地方：func main() { a := 5 b := 1.1 fmt.Printf("a,b = %v, %v\n", a, b) var c = 1...
2018-10-12 21:27:20
143
原创 airflow run记录
1 安装airflow2 安装celery3 去~/airflow/下面 有airflow.ufg 这个文件进行配置： 主要是 home（不变） dag的url（变成miveshow_jobs_src)4 airflow scheduler5 airflow worker --然后发现连不上db ---然后去 airflow.ufg 中 把sql 的配置改成mysql，...
2018-08-27 18:20:21
383
原创 实习经验
在一家直播公司实习了快四个月了。。。主要从Django后台写到了api接口，慢慢接触到一个具体的业务逻辑权当做个个人工作经验。红色代表未完成学习的东西：0 python ，感觉现在也没有达成c、c++的熟练度1 git的工作原理，操作等等，主要是合作工作，注意一下冲突的产生原因和解决方式2 Django ---官方document很详细3 mysql 主要是索引的使用原理，多列(联合)索引，以...
2018-04-18 15:21:06
241
原创 一段小练
几场cf2016北京现场赛cf597C http://codeforces.com/contest/597/problem/C 分析： 设dp[i][k] 以第i个结尾，长度为k 有多少个 很容易的到 dp[i][k] += dp[j][k-1] (j=[1,i) ) 这个dp 显然会T 建k棵树： 在kth树中第i+1个节点 维护 dp[i][k] 先按节点大小维护树 那么原
2017-10-16 16:40:37
211
原创 cdq分治
1.bzoj1492 cash 来源 ：hzwer 从 bzoj-1492 学习分治 提示中：必然存在一种最优的方式：每次买入花完所有的金币，且每次卖出物品时，全部卖出 思考：这种原理应该就是贪心：即能够赚钱的话，就赚最多的钱？？？ 我为什么没看出来 这个东西是 “！显然！”的？rate[i] = 第i天购买时，将提供给用户的 A：B A[i],B[i]:第i天 AB的价格 ans
2017-10-16 15:01:37
238
原创 python 入门学习
最近在某学习网站，学习了一下python，记录一下，仅做学习用途，侵权删除。认识python1.Python是一个动态的解释性语言。什么意思呢，就是说在运行之前不会对代码做翻译工作，计算机会直接在它运行时一边理解，一边执行，一边判断是否有语法错误。2.Python 是不需要说明类型的：变量，参数，函数等等都无需说明类型。3.Python分为两个版本：2和3 ，我们主要学习2, 版本3目前还不
2017-09-03 17:54:15
464
原创 2017 Multi-University Training Contest 第一场
题解在：http://bestcoder.hdu.edu.cn/blog/2017-multi-university-training-contest-8-solutions-by-%E5%8C%97%E4%BA%AC%E8%88%AA%E7%A9%BA%E8%88%AA%E5%A4%A9%E5%A4%A7%E5%AD%A6/#comment-42四题200多名吧 反正就只能切水题1001 求2
2017-07-27 11:04:32
245
原创 矩阵快速幂的复习。。。
很久很久都没有做过矩阵快速幂的题目了，昨天做了一个竟然丝毫想不起来。。。不由让我想复习一下。快速幂的原理就不必多说，为了实现某些题目中的答案，答案又依赖与某些类似斐波那契数列的关系，我们就可以利用矩阵来实现 这个线性递推过程，利用快速幂的原理来缩短这个很长的线性过程。1.先是最简单的题型 比如 a[n]= x*a[n-1] + y *a[n-2] |a[n] |………… |x y |………..
2017-07-24 14:18:45
196
原创 return -1 、0、1 记住if(jud(x)) return -1 也是真，只有0才是假。。。坑
所以我们最好写 Bool return false return true
2017-06-18 22:09:11
457
原创 【set容器】 赶紧复习啊。
这个set 写的我头皮发麻。记住几个点： 1. set.end(); 永远都别用，不知道是不是自己机器的问题，一直显示=初识的那个值。 我们要调用最后一个的时候 正确的用法应该是： *(–q.end() )，亲测可用。lower_bound ： set::iterator it; it=q.lower_bound(pre[x]); it返回的是地址。 取值的话 用一下*就可以了。3
2017-06-11 18:16:16
258
原创 两道交互题
http://codeforces.com/contest/810/problem/D一直感觉交互题很有意思呀；在 1…..n 中选了k个数字我们猜 x y 机器选择最接近x的数a 和最接近y的数 b 如果 |x-a| <= |y-b| 机器输出 TAK 否则NIE 只需要猜出两个数字 即可 最多问60次一直没想到怎么二分，看到了一个正确性很高的二分。。。 那么我们 将 1-
2017-06-03 14:43:09
1218
2
原创 【Splay练习】
POJ 3481 Double Queue每个顾客有 编号1e6，优先级1e7 银行可以先服务 当前队列中优先级最大(2)或者最小(3)的顾客， 输出其编号 我们可以按 优先级 来建树的相对顺序 然后对于 优先级为x 的顾客我们 在树中寻找他是第几个 (k)，然后进行操作。const int INF=0x3f3f3f3f;#define N 200005#define key_val
2017-05-01 15:44:43
290
原创 【带权并查集】 练习
【poj 1962】Corporative Network（图论–带权并查集 模版题）/*N个企业 分成几个网络每个网络 有一个父亲节点（中心）两种操作：1.查询当前时间 机器x到其网络中心的距离2.设置机器x 和 y 相连 ， dis=abs(x-y)%1000; x所在网络的中心机变为y所在网络的中心机解法：带权并查集。可以把中心机转换为一个集合（树）的根节点，求距离就是求点到根节
2017-04-20 15:36:33
372
原创 【模板Splay】XX树
话说 大概半年前专门去学了下Splay，在bzoj上写了几道题 但是，当时觉得自己很菜，想多学点东西，再一次性写出来，然后。。。。 我现在都忘掉了自己还会这个 mmp。 要讲Splay，那就必然需要了解一下旋转操作。 http://www.cnblogs.com/kuangbin/archive/2012/10/07/2714068.html 先去研究一下上述博客知识，学一下旋转操作的原
2017-04-14 22:26:11
393
原创 记一个经典题： 找到在一颗树中，距离<(=)k的点 有多少对？
最近做的一个题： http://codeforces.com/contest/161/problem/D 范围: n=5e4 ,k=500 因为k 很小，所以我们可以用树形dp 解决这个问题。 dp[i][j] : i的子树 dis=j的有多少个点。 u-v dp[u][i]+=dp[v][i-1] 但是复杂度大概有n*n 不可取啊 哦，因为 k 只有500 所以我们只需要维护
2017-04-13 19:10:07
715
原创 退役前的简单dp训练
今年应该就是最后一年的比赛了，毕竟大三狗了。学了快三年，博客这种东西写一篇少一篇。 退役前可能还能自我训练几次，不多了。。。。简单dp:区间dp：树形dp：状压dp：
2017-04-06 15:43:40
305
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人