随记
文章平均质量分 85
随便记录一些东东。。。
一个写湿的程序猿
练习两年半的程序猿。。。只因(ji)你太美!!!
初识不知文中意,再见已是文中人
展开
-
QPS、TPS、负载测试、压力测试
QPS、TPS、负载测试、压力测试概述QPSTPS系统吞吐量负载测试和压力测试的区别QPSQPS(Queries Per Second)是每秒查询率,是一台服务器每秒能够相应的查询次数,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准,即每秒的响应请求数,也即是最大吞吐能力。TPSTPS(Transactions Per Second)也就是事务数/秒。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时,收到服务器响应后结束计时,以此来计算使用的时原创 2022-03-25 10:12:53 · 835 阅读 · 0 评论 -
数据分析,中国最爱喝咖啡的城市上海
中国最爱喝咖啡的城市导读Part-1Part-2Part-3Part-4Part-5Part-6结语来源:网易数读导读Part-1Part-2Part-3Part-4Part-5Part-6结语作为世界第二大出口商品,世界三大饮品之一的咖啡,在中国的地位一直不高,但上海市民对咖啡接受度之高,其他城市望尘莫及。早在十九世纪八十年代,上海就开出了第一家独立营业的咖啡馆。从此,上海市民再也离不开这种黑色的苦味饮料。独特的咖啡文化使得这座原创 2021-12-23 14:52:45 · 540 阅读 · 0 评论 -
大白话讲解,大数据基本术语
大数据基本术语用户画像大数据杀熟即席查询数据湖数据中台数据集市ETL雪花模型、星型模型、星座模型事实表维度表上钻与下钻维度退化UV与PVSKU与SPUODS,DWD,DWS,DWT,ADST+0与T+1用户画像用户画像又称用户角色,作为一种描述目标用户,联系用户诉求与设计方向的有效工具,用户画像在各领域得到了广泛的应用。我们在实际操作的过程中往往会以最为浅显和贴近生活的话语将用户的属性、行为与期待的数据转化联结起来,就是给用户打标签,取各种别名。作为实际用户的虚拟代表,用户画像所形成的用户角色并不是脱原创 2021-08-31 11:49:54 · 834 阅读 · 1 评论 -
平均数、中位数、众数,在分析中如何使用?
平均数、中位数、众数,在分析中如何使用?01 平均值的种类02 平均数、中位数还是众数?03 全距和数值分布01 平均值的种类请检查下面的陈述:1、一个快速致富的方法就是做一名职业橄榄球员,2015年美国国家橄榄球联盟球星的平均收入是220万美元。2.、为在大学里取得好成绩,学生需要付出的努力越来越少了。根据最近一项调查,大学生每周平均花在学习上的时间是12.8小时,和20年前大学生的学习时长相比,前者大概只有后者的一半。两个例子当中都使用了“平均”这个词,但是实际上有三种不同的方法来测定平原创 2021-08-28 09:39:00 · 3722 阅读 · 0 评论 -
深度解析分布式系统的CAP理论
深度解析分布式系统的CAP理论引言1. CAP 的由来2. CAP 到底是什么2.1. C:数据一致性2.2. A:可用性2.3. P:分区容忍性3. CAP 怎么选择4. 对 CAP 的常见误解5. CAP 理论的一些疑问6. CAP 的不足作者:四猿外来源:分布式系统引言CAP 理论,相信很多人都听过,它是指:一个分布式系统最多只能同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance)这三项中的两项。为什么要理解原创 2021-08-02 10:48:16 · 336 阅读 · 0 评论 -
饼图,为何是数据界最被诟病的图表?
饼图,为何是数据界最被诟病的图表?饼图的缺点缺点一:饼图不能详细展现每部分的细节情况缺点二:违反视觉感知规律:人们并不能真正理解圆形和角度的大小缺点三:依赖数据标签说明信息那在我们得知饼图的优劣势,是否有其他替代饼图的图表呢?条形图树状图来源:大数据DT饼图(Pie Chart) 的每个切片代表整体的一部分,通常切片大小用于显示百分比,扇区的总和为100%。但在数据可视化不断发展中,饼图被广为诟病为是最糟糕的展现形式之一。当然还存在其他更冗杂和麻烦的数据展现形式,但饼图是广为公众熟悉的图表之一。原创 2021-07-28 16:39:17 · 2423 阅读 · 1 评论 -
什么是接口幂等性问题?高并发下如何保证接口的幂等性?
高并发下如何保证接口的幂等性?什么是接口幂等性?为什么会产生接口幂等性问题?场景1. insert 前先 select2. 加悲观锁3. 加乐观锁4. 加唯一索引5. 建防重表6. 根据状态机7. 加分布式锁8. 获取token来源:苏三说技术作者:苏三说技术什么是接口幂等性?幂等(idempotent、idempotence) 是一个数学和计算机中常见的概念,在编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。比如下面这些情况,如果没有实现接口幂等性会有很严重的后果原创 2021-07-20 10:21:17 · 353 阅读 · 0 评论 -
什么是内卷?什么是囚徒困境?故事叙述
什么是内卷?什么是囚徒困境?01 小镇的故事1. 什么是内卷此时的小镇生活发生了什么样的变化呢?2. 什么是囚徒困境3. 什么是勤劳和公平02 大城市的故事作者:大数据DT来源:大数据DT01 小镇的故事1. 什么是内卷很久很久以前,地球上有一个小镇。小镇上有很多鞋店,这些鞋店每天上午10点开门,中午12点到下午2点午休,下午2点到晚上6点继续营业;每周一至周五营业5天,周末休息。夏天最热的那几天,鞋店老板们会纷纷把店关掉,去南方的海边度假;冬天最冷的那几天,鞋店老板们也会纷纷把店关掉,原创 2021-07-13 08:51:27 · 390 阅读 · 1 评论 -
赌徒谬误论,投掷硬币,连续5次都是正面朝上,第6次正面反面的概率?
赌徒谬误论导读:有个 倒霉孩子 叫小明,去年的五一、端午、十一和今年的清明假期,小明都被老板叫去加班了。如今,老板还是那个老板,小明还是那个小明。小明却想,我都中枪那么多次了,今年十一总该轮不到我了吧?请问小明的想法正确吗?我们先不回答小明的问题,请思考以下两个问题。问题1: 假设我们在投掷一枚硬币(硬币出现正面和反面的概率各为50%),连续5次都是正面朝上,你认为第6次投掷:出现反面的可能性更大出现正面的可能性更大出现正面和反面的概率一样大问题2: 玩老虎机时,一般原创 2021-07-09 09:20:36 · 3620 阅读 · 2 评论 -
编译型语言、解释型语言,特点、区别
编译型语言、解释型语言的区别简述究竟在什么时候将源代码转换成二进制指令呢?编译型语言和解释型语言各有什么特点?有什么区别?编译型语言解释型语言为什么解释型语言就能快平台呢?总结简述我们编写的源代码是人类语言,我们自己能够轻松理解;但是对于计算机硬件(CPU),源代码就是天书,根本无法执行,计算机只能识别某些特定的二进制指令,在程序真正运行之前必须将源代码转换成二进制指令。所谓的二进制指令,也就是机器码,是 CPU 能够识别的硬件层面的“代码”,简陋的硬件(比如古老的单片机)只能使用几十个指令,强大的硬原创 2021-06-25 09:42:46 · 1514 阅读 · 0 评论 -
0.1+0.2=0.3?为什么浮点数运算不精确?
为什么浮点数运算不精确?前言1. 相关概念2. 计算机中数据的表示方法2.1 n 位二进制可以表示的信息量2.2 定点数表示2.3 浮点数表示2.4 定点数 和 浮点数 的区别2.5 计算机表示实数的步骤2.5.1 转换为二进制数格式2.5.2 转换为二进制科学计数法表示2.5.3 转换为IEEE 754 标准格式3. IEEE 754 标准的浮点数3.1 一般格式3.2 两种常用格式3.3 特殊值4. 总结前言10道Java测试题,其中有几道题是关于浮点数的。(1)float a = 0.125原创 2021-03-19 16:15:25 · 1536 阅读 · 1 评论 -
幸存者偏差的秘密
幸存者偏差的秘密引语:幸存者的辩护词你越认真,离真相越远统计学笑话:没来的同学举手沉默的大数据与“死人不说话”期望值是“幸存者偏差”的帮凶幸存者偏差公式利用幸存者偏差:你也可以成为大神如何躲过幸存者偏差?结语:不是每个人都是幸存者引语:幸存者的辩护词也会有很多当事人或者亲友为这些从未上过一线的“大师”和“神药”背书。我发了高烧的七舅姥爷,正是喝了大师指点的X浆才康复的。我三外甥的女儿已经感染了,也是喝了“XX茶”才逃过一劫。…………这些为大师辩护的人,并不一定全是水军,他们不是骗子,甚至是一原创 2021-03-02 15:47:28 · 1050 阅读 · 2 评论 -
CDH中所有主机平均负载含义
CDH中所有主机平均负载含义一、CDH主机列表中的平均负载中的三个数字如下图,分别表示1分钟、5分钟、15分钟的负载情况二、系统平均负载-基本解释三、系统平均负载-进阶解释结论参考:http://www.slyar.com/blog/linux-load-average-three-numbers.html一、CDH主机列表中的平均负载中的三个数字如下图,分别表示1分钟、5分钟、15分钟的负载情况二、系统平均负载-基本解释这3个数字的含义:分别表示系统在过去1分钟、5分钟、15分钟内运行进程队列中的原创 2021-02-24 14:25:46 · 418 阅读 · 0 评论 -
ES中 节点数量,分片数量,副本数量关系配比
ES中 节点数量,分片数量,副本数量关系配比问题节点数量主分片数量两个问题:解决:副本分片数量两个注意事项总结一下问题创建索引库的时候,要设计分片数量和副本数量,分片和副本是分布式搜索引擎的核心。如何指定分片进行增删改查操作?每个分片存储多少数据合适?我们的文档存在哪个分片中?为什么不可以修改主分片数量?一次完整的ES查询流程怎么流的?节点数量节点数量很好说,你要是只有两三个服务器,还想啥自行车呢。当然节点的数量还是有约束的。一般情况下:集群所有索引的副本最大值+1 <= 集群原创 2021-02-19 17:15:23 · 11253 阅读 · 0 评论 -
分布式锁用 Redis 还是 Zookeeper ?
分布式锁用 Redis 还是 Zookeeper ?为什么用分布式锁?基于Redis实现分布式锁另一种方式:Redisson小结:基于zookeeper实现分布式锁Curator介绍两种方案的优缺点比较小结建议为什么用分布式锁?在讨论这个问题之前,我们先来看一个业务场景:系统A是一个电商系统,目前是一台机器部署,系统中有一个用户下订单的接口,但是用户下订单之前一定要去检查一下库存,确保库存足够了才会给用户下单。由于系统有一定的并发,所以会预先将商品的库存保存在redis中,用户下单的时候会更新red转载 2021-02-19 14:04:53 · 206 阅读 · 0 评论 -
分布式系统中的CAP理论
分布式系统中的CAP理论一、什么是分布式系统二、简单的概述一下1、一个小例子2、Consistency 一致性3、可用性4、分区容错性三、验证CAP理论四、CAP特性的取舍一、什么是分布式系统拿一个最简单的例子,就比如说我们的图书管理系统。之前的系统包含了所有的功能,比如用户注册登录、管理员功能、图书借阅管理等。这叫做集中式系统。也就是一个人干了好几件事。后来随着功能的增多,用户量也越来越大。集中式系统维护太麻烦,拓展性也不好。于是就考虑着把这些功能分开。通俗的理解就是原本需要一个人干的事,现在分转载 2021-02-19 10:51:37 · 216 阅读 · 0 评论 -
分布式集群如何实现高效的数据分布,一致性哈希、分布式哈希表
这里写目录标题一、前言二、技术背景三、传统 Hash四、一个简单的 DHT五、DHT 的改进1、虚拟节点(1)增加集群节点(2) 引入虚拟节点2、负载边界因子六、DHT 引发的思考一、前言随着互联网的发展,用户产生的数据越来越多,企业面临着庞大数据的存储问题,目前市面上主流的分布式大数据文件系统,都是对数据切片打散,通过离散方法将数据散列在集群的所有节点上,本文将带你了解DHT(Distributed Hash Table):分布式哈希表是如何实现数据的分布式离散存储的。DHT(Distributed转载 2021-02-19 10:34:20 · 543 阅读 · 1 评论 -
分析mmap:是什么 为什么 怎么用
这里写目录标题mmap基础概念mmap内存映射原理(一) 进程启动映射过程,并在虚拟地址空间中为映射创建虚拟映射区域(二) 调用内核空间的系统调用函数mmap(不同于用户空间函数),实现文件物理地址和进程虚拟地址的一一映射关系(三) 进程发起对这片映射空间的访问,引发缺页异常,实现文件内容到物理内存(主存)的拷贝mmap和常规文件操作的区别mmap优点总结mmap基础概念mmap是一种内存映射文件的方法,即将一个文件或者其它对象映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一转载 2021-02-18 16:21:10 · 362 阅读 · 0 评论 -
压力测试中的指标概念
压力测试中的指标1 压力测试中的指标1.1 TPS1.2 QPS1.3 平均处理时间(RT)1.4 并发用户数(并发量)1.5 换算关系1.6 TPS和QPS的区别2 压力测试方法3 名称概念解释1. QPS2. TPS3. RPS1 压力测试中的指标1.1 TPSTPS 即Transactions Per Second的缩写,每秒处理的事务数目。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程(完整处理,即客户端发起请求到得到响应)。客户机在发送请求时开始计时,收到服务器响应后结束计原创 2021-02-18 16:03:30 · 3989 阅读 · 0 评论 -
Thread.sleep(0) 到底有什么用?
Thread.sleep(0)到底有什么用? 思考下面这两个问题:问题一问题二回顾时间片算法抢占式举例Unix操作系统来负责分蛋糕Windows 操作系统来负责分蛋糕总结回答一回答二小结我们可能经常会用到 Thread.Sleep 函数来吧使线程挂起一段时间。那么你有没有正确的理解这个函数的用法呢?思考下面这两个问题:问题一假设现在是 2020-4-7 12:00:00.000,如果我调用一下 Thread.Sleep(1000) ,在 2020-4-7 12:00:01.000 的时候,这个线程会原创 2021-02-18 15:32:22 · 172 阅读 · 1 评论 -
为什么星巴克不使用两阶段提交?
为什么星巴克不使用两阶段提交1. 请给我一杯热巧克力(Hotto Cocoa o Kudasai)2. 关联3. 异常处理3.1 销账3.2 重试3.3 补偿4. 两阶段提交5. 会话模式翻译自 Starbucks Does Not Use Two-Phase Commit.1. 请给我一杯热巧克力(Hotto Cocoa o Kudasai)刚结束了一次为期两周的日本之旅。印象深刻的是数量多到难以置信的星巴克 —— 尤其是在 新宿和六本木地区。在等待咖啡制作时,我开始思考星巴克是如何处理订单的。与原创 2021-02-18 15:11:36 · 237 阅读 · 0 评论 -
字节、字、位、比特
这里写目录标题位(bit)字节(byte)字(word)另一种说法:字字长字节字块拓展内容拓展资料位(bit)来自英文bit,音译为“比特”,表示二进制位。位是计算机内部数据储存的最小单位,11010100是一个8位二进制数。一个二进制位只可以表示0和1两种状态(21);两个二进制位可以表示00、01、10、11四种(22)状态;三位二进制数可表示八种状态(23)……。最小的存储单位称为位(bit):只能容纳两个值(0或1)之一,不能在一个位中存储更多的信息。位是计算机存储的基本单位。字节(byt原创 2021-02-18 15:01:10 · 2799 阅读 · 0 评论 -
PV、UV、VV、IP及其关系与计算
PV、UV、VV、IP及其关系与计算什么是PV?什么是UV?什么是VV?什么是IP?① UV大于IP② UV小于IP实例说明什么是PV?PV即Page View,网站浏览量,指页面浏览的次数,用以衡量网站用户访问的网页数量。用户每次打开一个页面便记录1次PV,多次打开同一页面则浏览量累计。一般来说,PV与来访者的数量成正比,但是PV并不直接决定页面的真实来访者数量,如同一个来访者通过不断的刷新页面,也可以制造出非常高的PV。具体的说,PV值就是所有访问者在24小时(0点到24点)内看了某个网站多少个原创 2021-02-18 14:28:52 · 2706 阅读 · 0 评论 -
与运算(&)、或运算(|)、异或运算(^)
与运算(&)、或运算(|)、异或运算(^)一:与运算符(&)二:或运算(|)三:异或运算符(^)一:与运算符(&)运算规则:0 & 0 = 0;0 & 1 = 0;1 & 0 = 0;1 & 1 = 1即:遇假为假,两个同时为1,结果为1,否则为0例如:3 & 5即 0000 0011 & 0000 0101 = 0000 0001,因此,3 & 5 = 1二:或运算(|)运算规则:0原创 2021-02-18 14:17:42 · 9669 阅读 · 2 评论 -
同比、环比
同比、环比一、同比和环比是什么意思?二、同比和环比的计算公式是什么?三、同比和环比的区别是什么?四、补充同比是指上年同期,环比是指本年上期举例来说,2009.9月,同比是与2008.9月比,环比是与2009.8月比。一、同比和环比是什么意思?1、同比:一般情况下是今年第n月与去年第n月比。同比发展速度主要是为了消除季节变动的影响,用以说明本期发展水平与去年同期发展水平对比而达到的相对发展速度。如,本期2月比去年2月,本期6月比去年6月等。2、环比:表示连续2个单位周期(比如连续两月)内的量的变化比原创 2021-02-18 14:16:55 · 2501 阅读 · 0 评论