Elivis Hu-CSDN博客

原创 IDM 工具下载地图高程数据

注册时，标红点的是必填的，有的诸如first name之类的全可以瞎填，看起来需要打勾的地方就打个勾。下载完的DEM数据是个压缩包，解压后，找到dem.tif格式，即可加载到Global Mapper或其他GIS软件中去使用了。地图上就会显示江苏省的范围，对照下图幅KML文件，你就能知道江苏省所有的图幅文件的经纬度数据了。因此，只要确定要下载的地方的经纬度图幅范围就可以轻松的获取到所有的下载链接，而不用在NASA官网上一个个的去翻了。安装后，第一次打开，如果默认语言是俄语的，那就修改下默认语言。

2024-08-29 16:34:38 653

原创 Three.js做了一个网页版的我的世界

笔者在前一阵子接触到Three.js后, 发现了它能为前端 3D 可视化 / 动画 / 游戏方向带来的无限可能, 正好最近在与朋友重温我的世界, 便有了用Three.js来仿制 MineCraft 的想法, 正好也可以通过一个有趣的项目来学习一下前端 3D 领域方块的放置 / 破坏选择不同的方块类型移动和碰撞检测随机的地形和树木生成无限的世界保存 / 读取游戏音效和背景音乐可调节的渲染距离和视野范围基本的 UI生成水更多的保存栏位手机支持玩法介绍也可以在。

2024-06-13 14:02:22 1021

原创高性能的Web网关，一个工具等于 Nginx + Https证书 + 内网穿透 + 图片切割水印 + 网关登录 --Apiumc Gateway

Apiumc内置内网穿透支持，Apiumc是Web的反向代理，只要把外网服务器的请求通过Host域名来区分进行点对点的转发到本地Apiumc，对Apiumc来说转发的请求数据和平常网络防问没有区别，再把响应的数据以点对点的转发外网服务器，完成Http协议的内网穿透，这样外网就可通过Web形式防问本机或内网应用。

2024-06-11 15:09:06 843

原创八分钟了解一致性算法 -- Raft算法

在分布式环境中，一致性是指数据在多个副本之间是否能够保持一致的特性。Raft算法是一种简洁而高效的分布式一致性算法，通过引入Leader选举和日志复制的机制，确保了分布式系统的共识和一致性。个节点的日志在相同的索引位置上的任期号相同，则认为他们具有一样的命令，从头到这个索引位置之间的日志完全相同• 如果给定的记录已提交，那么所有前面的记录也已提交Raft算法是一种简洁而高效的分布式一致性算法，通过引入Leader选举和日志复制的机制，确保了分布式系统的共识和一致性。

2024-02-27 16:07:01 231

原创一文讲透 map.computeIfAbsent putIfAbsent computeIfPresent区别

当 key 不存在时，返回的都是新的 value（为什么不说新插入的 value），即使 computeIfAbsent 在传入的value 为 null 时，不会新建映射关系，但返回的也是 null；如果给定的 key 不存在（或者 key 对应的 value 为 null），关联给定的 key 和给定的 value，并返回 null；1.使用 put 方法添加键值对，如果 map 集合中没有该 key 对应的值，则直接添加，并返回 null，如果已经存在对应的值，则会覆盖旧值，value 为新的值。

2024-02-27 16:02:20 748

原创 Redis 只会用缓存？16种妙用让同事直呼牛X

例如：热点数据缓存（例如报表、明星出轨），对象缓存、全页缓存、可以提升热点数据的访问数据。以访问者的ip和其他信息作为key，访问一次增加一次计数，超过次数则返回false。String 类型，因为 Redis 是分布式的独立服务，可以在多个应用之间共享。赛选商品，苹果的、ios的、屏幕在6.0-6.24之间的，屏幕材质是LCD屏幕。其实就是java的阻塞队列。老规矩，用 tags:i5001 来维护商品所有的标签。

2024-02-19 17:20:17 89

原创别再使用 RestTemplate了，试试官方推荐的 WebClient ！

在 Spring Framework 5.0 及更高版本中，RestTemplate 已被弃用，取而代之的是较新的 WebClient。这意味着虽然 RestTemplate 仍然可用，但鼓励 Spring 开发人员迁移到新项目的 WebClient。设置请求超时不会有任何影响总的来说，虽然 RestTemplate 可能仍然适用于某些用例，但 WebClient 提供了几个优势，使其成为现代 Spring 应用程序的更好选择。

2024-01-23 15:41:04 1098

原创 java使用双异步，性能优化

在使用@Async时，如果不指定线程池的名称，也就是不自定义线程池，@Async是有默认线程池的，使用的是Spring默认的线程池SimpleAsyncTaskExecutor。测试发现，当你将核心线程数CorePoolSize和最大线程数MaxPoolSize都设置为200的时候，第一次它会同时开启150个线程，来进行工作。有一个问题，一直没时间摸索，线程池中的核心线程数CorePoolSize、最大线程数MaxPoolSize，设置成多少，最合适，效率最高。测试的过程中发现，好像真的是这样的。

2024-01-22 15:29:01 501

原创 python学生信息管理系统（界面+数据库）

今天跟大家分享一下一个python期末大作业的开发思路。大家可以参考思路自己修改完善。我们讲解的是学生信息管理系统。界面还是用tkinter做，数据库使用sqlite。7.在程序主入口调用main()函数，启动软件主界面。6.定义查找/修改/删除学生信息子界面函数。5.定义显示所有学生信息子界面函数。4.定义添加学生信息子界面函数。3.定义软件主界面函数。

2024-01-17 17:13:13 1547

原创 sphinx，一个神奇的 Python 库！

Sphinx是一个由Python社区开发和维护的文档生成工具。它最初是为Python项目文档创建而设计的，但现在已成为广泛用于各种项目的工具。- **可扩展性**：Sphinx可以通过插件和扩展来满足不同项目的需求，使其非常灵活。多输出格式：Sphinx支持生成HTML、PDF、ePub、纯文本等多种输出格式，适用于不同的发布渠道。自动化生成：Sphinx可以自动从项目的源代码、注释和标记中提取文档内容，减少了手动编写文档的工作。强大的标记语言。

2024-01-17 16:57:49 716

原创 dask，一个超级厉害的 Python 库

Python Dask 是一个用于并行计算和分布式计算的灵活、开源的库。它提供了一种方式来处理比内存中可容纳的数据集更大的数据，同时具有与 NumPy 和 Pandas 类似的 API，使得迁移到 Dask 非常容易。## Python Dask 的关键特点并行计算：Dask 可以并行处理数据，充分利用多核处理器和集群，加速计算过程。分布式计算：可以将 Dask 部署到分布式集群上，以处理大规模数据，无需将数据加载到单个计算机上。与 NumPy 和 Pandas 的互操作性。

2024-01-17 16:52:49 557

原创八分钟了解一致性算法 -- Raft算法

### 分布式一致性在分布式环境中，一致性是指数据在多个副本之间是否能够保持一致的特性。#### 分布式一致性算法比较常见的一致性算法包括Paxos算法，Raft算法，ZAB算法等• Paxos是Leslie Lamport提出的一种基于消息传递的分布式一致性算法。很多分布式一致性算法都由Paxos演变而来，但是最大特点就是难，不仅难以理解，更难以实现。• Raft 是一种相对较新的分布式一致性算法，是一种更易于理解和实现的算法，在选主的冲突处理等方式上它都选择了非常简单明了的解决方案。

2024-01-15 09:11:30 76

原创解析 ODPS SQL 任务优化方法原理

本文重点尝试从ODPS SQL的逻辑执行计划和Logview中的执行计划出发，分析日常数据研发过程中各种优化方法背后的原理，覆盖了部分调优方法的分析，从知道怎么优化，到为什么这样优化，以及还能怎样优化。一、背景使用ODPS SQL进行离线数据研发时，开发同学不可避免会碰到任务性能问题，需要经常对ODPS SQL执行任务进行调优，以对重点场景任务产出时效进行保障，避免资源浪费。

2024-01-11 11:16:07 313

原创不用写一行代码！Python最强自动化神器！-palywright

Playwright是一个由Microsoft开发的开源自动化测试工具，它可以用于测试Web应用程序。Playwright支持多种浏览器，包括Chrome、Firefox和WebKit，同时也支持多种编程语言，如JavaScript、TypeScript、Python和C#。

2024-01-08 16:06:35 1069

原创流式湖仓增强，Hologres + Flink 构建企业级实时数仓

一般来说，表格更新需要反查，那会随着数据量增大，更新性能会下降，Hologres 在已经拥有 20 亿条数据表格做出更新，也能达到每秒钟 70 万条的更新性能，这种实时写入与更新的性能，是非常合适和 Flink 这种大量的更新和删除搭配使用的。在画像场景里，我们要描述一个用户的画像或者一个商品的画像，有很多个维度，例如说一个用户，他的浏览习惯是什么，他的履约习惯是什么，他的退货习惯是什么等等，可以从各种维度去看这个客户，然后我们要去给用户画一个画像，判断他到底属于哪一类用户。第三种是物化视图的方案。

2024-01-08 15:54:11 1344

原创一图了解六种常见的负载均衡算法

随着业务流量越来越大，单台服务器无论如何优化，无论采用多好的硬件，总会有性能天花板，当单服务器的性能无法满足业务需求时，就需要把多台服务器组成集群系统提高整体的处理性能。基于上述需求，我们要使用统一的流量入口来对外提供服务，本质上就是需要一个流量调度器，通过特定的算法，将用户大量的请求流量均衡地分发到集群中不同的服务器上。例如，如果需要一个简单的负载均衡算法来处理均匀的请求流量，可以选择轮询算法。另一方面，如果希望最大限度地减少响应时间，则最短响应时间算法是一个很好的选择。

2024-01-05 15:02:33 414

原创 MQ 发消息的4种姿势

微服务开发中经常会使用消息队列进行跨服务通信。在一个典型场景中，服务A执行一个业务逻辑，需要保存数据库，然后通知服务B执行相应的业务逻辑。在这种场景下，我们需要考虑如何发送消息。

2024-01-05 14:51:41 1420

原创使用PowerJob做任务调度模块

最近项目中使用了PowerJob做任务调度模块，感觉这个框架真香，今天我们就来深入了解一下新一代的定时任务框架——PowerJob！简介PowerJob是基于java开发的企业级的分布式任务调度平台，与xxl-job一样，基于web页面实现任务调度配置与记录，使用简单，上手快速，其主要功能特性如下：相对于其他定时任务框架具有无锁化设计，更强悍的性能支撑，我们通过官网的产品对比可以了解详情：docker的安装较为简单，且官网有详细说明，这里就不单独讲解了，大家可参考官方文档：如何通过jar形式运行的1、首先我

2024-01-05 14:49:24 1023

原创常见的中台架构

资产管理是以企业全员更好理解的方式，把企业的数据资产展现给企业全员（当然要考虑权限和安全管控），数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示，以一种更直观的方式展现企业的数据资产，提升企业的数据意识。元数据和标签数据都是对数据的描述，其中元数据用来对数据的客观属性进行表示，标签数据更倾向于管理者对数据的主观表述及等级划分，比如质量等级标签、安全标签、属性标签等。前面利用数据汇聚、数据开发建设企业数据资产，利用数据管理展现企业的数据资产，但是并没有发挥数据的价值。

2024-01-03 17:01:55 1694

原创架构师使用的8种重要生命周期图

最后，相信大家对生命周期有了一个大概的认知，了解某个产品或任务等生命周期，明确它当前所处的阶段，可以让产研、运营、销售等各岗位的工作有的放矢，及时结合任务所处阶段调整发展策略，将有限的资源集中在核心目标上去。**随着新产品或新的代用品层出不穷，顾客的消费习惯发生改变，转向其他产品，从而使原来产品的销售额和利润额迅速下降。于是，产品进入了衰退期。Vue 实例从创建到销毁的过程，就是生命周期，也就是从开始创建、初始化数据、编译模板、挂载Dom→渲染、更新→渲染、卸载等一系列过程，称为 Vue 的生命周期。

2024-01-03 11:28:15 1045

原创将csdn博客转成md格式文档

稍等片刻便可打包下载一个zip文件，里面包含所有的md文章，文章数越多，其等待时间越长，可将鼠标放置浏览器标签页查看其打包进度情况。双引号内部为某篇具体需要转换的博文链接，转换成功后在当前目录下会出现xxx.md。在该404界面F12打开开发者工具，并选择控制台（console）该工具可以将我们的博客做一个初步的转markdown,用法如下。使用Java编写这个程序的主要原因是网络相关操作真香！链接打开会发现是一个404，没错，不用怀疑是操作错了。使用clean-mark工具转换的md目前有两个问题。

2024-01-03 11:17:14 933

原创 kafka详解

嘿，这个我费，我背过好多次了！顺序IOkafka写消息到分区采用追加的方式，也就是顺序写入磁盘，不是随机写入，这个速度比普通的随机IO快非常多，几乎可以和网络IO的速度相媲美。Page Cache和零拷贝kafka在写入消息数据的时候通过mmap内存映射的方式，不是真正立刻写入磁盘，而是利用操作系统的文件缓存PageCache异步写入，提高了写入消息的性能，另外在消费消息的时候又通过sendfile实现了零拷贝。阿里二面：什么是mmap？批量处理和压缩。

2024-01-03 09:24:06 1367

原创 Nacos服务注册中心底层实现原理

1.x版本是通过Http协议来进行服务注册的2.x由于客户端与服务端的通信改成了gRPC长连接，所以改成通过gRPC长连接来注册2.x比1.x多个Redo操作，当注册的服务实例是临时实例是，出现网络异常，连接重新建立之后，客户端需要将服务注册、服务订阅之类的操作进行重做这里你可能会有个疑问既然2.x有Redo机制保证客户端与服务端通信正常之后重新注册，那么1.x有类似的这种Redo机制么？当然也会有，接下往下看。心跳机制仅仅针对临时实例而言。

2024-01-03 09:18:18 1010

原创 crash实战：手把手教你使用crash分析内核dump

Kdump是Linux的一种内核崩溃捕获机制，Linux内核遇到致命错误崩溃时会触发Kdump机制将崩溃时的现场保存下来，以便后续分析和故障排查。目前市面上有很多分析Kdump的工具，例如trace32, crash tool，本文介绍crash tool在手机领域的应用，并重点介绍一些实用的技巧。然而，本文的重点并不是介绍crash tool的工作原理和基础命令，也不是为了介绍Kdump转储的原理以及其他Kdump解析工具，如果你对这些内容感兴趣，请参考本文末尾提供的参考文档。一、为什么要用crash

2023-12-19 11:52:02 2431

原创 Nginx+Promtail+Loki+Grafana 升级ELK强大工具

升级ELK强大工具

2023-12-08 15:50:59 730

原创 `int(1)` 和 ‘int(10)‘

int后面的数字不能表示字段的长度，int(num)一般加上zerofill，才有效果。zerofill的作用一般可以用在一些编号相关的数字中，比如学生的编号 001 002 … 999这种，如果mysql没有零填充的功能，但是你又要格式化输出等长的数字编号时，那么你只能自己处理了。如学生的编号 001 002 … 999这种，如果mysql没有零填充的功能，但是你又要格式化输出等长的数字编号时，那么你只能自己处理了。

2023-12-06 13:35:40 89

原创 java 偏向锁 10个课题

jvm因为加入了偏向锁逻辑而大大提高了同步锁的速度。但是偏向锁不是万能的，尤其是现在互联网应用并发越来越高，偏向锁在过多的争抢下反而会影响效率并且很快就会发生膨胀，已经越来越偏离了了它设计时的初衷。当前的Java应用中也基本会使用JUC包来做并发的同步，偏向锁的使用场景越来越少。当然硬件性能的提升也在削弱偏向锁的优势，所以Java15默认关闭了偏向锁。当然，本篇文章对于你参加面试还是能够提供一点点帮助的。快就会发生膨胀，已经越来越偏离了了它设计时的初衷。

2023-11-30 15:12:37 433

原创 HarmonyOS开发工具简介

HarmonyOS应用/服务开发、测试完成后，需要将应用/服务发布至应用市场，以便应用市场对应用/服务进行分发，普通消费者可以通过应用市场或服务中心获取到对应的HarmonyOS应用/服务。HarmonyOS应用/服务开发完成后，在发布到应用/服务市场前，还需要对应用进行测试，主要包括漏洞、隐私、兼容性、稳定性、性能等进行测试，确保HarmonyOS应用/服务纯净、安全，给用户带来更好的使用体验。使用DevEco Studio，只需要按照如下几步，即可轻松开发并上架一个应用/服务到华为应用市场。

2023-11-29 14:22:21 893

原创微服务知识大杂烩

在微服务中，假如一个或者多个服务出现故障，如果这时候，依赖的服务还在不断发起请求，或者重试，那么这些请求的压力会不断在下游堆积，导致下游服务的负载急剧增加。不断累计之下，可能会导致故障的进一步加剧，可能会导致级联式的失败，甚至导致整个系统崩溃，这就叫服务雪崩。服务雪崩服务高可用部署：确保各个服务都具备高可用性，通过冗余部署、故障转移等方式来减少单点故障的影响。限流和熔断：对服务之间的请求进行限流和熔断，以防止过多的请求涌入导致后端服务不可用。

2023-11-28 14:10:25 565

原创第三方付支付-聚合支付系统设计方案

功能结构图功能描述：渠道管理是聚合支付系统的命脉，关系着聚合支付能否正常运行和利润。一般在接入上游通道的时候，会对通道的优先级考虑是否接入，一般优先级是：成本>稳定性>服务时间，但是不同的公司，会有所差异。核心字段：成本，结算周期，通道稳定性，服务时间。

2023-11-17 14:58:11 593

原创一文掌握 Apache SkyWalking

SkyWalking 是一个应用性能监控系统（APM）为微服务、云原生和基于容器（Docker, Kubernetes, Mesos）体系结构而设计,主要实现功能包括分布式追踪，性能指标分析和服务依赖分析等。

2023-11-07 15:22:47 971

原创 AWS组件使用

kafka或kinesis 做数据收集S3+redshift 做数仓EMR做计算RDS做数据市场AWS Glue / AWS Data Pipeline 做数据集成这些组件配合起来，几乎可以做各种方式的数据分析kinesis还是比较推荐，延迟时间可以配置的算是实时的，而且功能会多一点，聚合、过滤什么的都可以亚马逊云科技的历史新用户入门学习计划（海外区域）

2023-11-03 14:52:05 744 1

原创看懂分布式追踪系统原理及实践

在微服务架构中，一次请求往往涉及到多个模块，多个中间件，多台机器的相互协作才能完成。这一系列调用请求中，有些是串行的，有些是并行的，那么如何确定这个请求背后调用了哪些应用，哪些模块，哪些节点及调用的先后顺序？如何定位每个模块的性能问题？本文将为你揭晓答案。本文将会从以下几个方面来阐述分布式追踪系统原理及作用SkyWalking的原理及架构设计我司在分布式调用链上的实践。

2023-10-27 13:41:30 167

原创如何保证分布式情况下的幂等性

为了每次执行更新时防止重复更新，确定更新的一定是要更新的内容，我们通常都会添加一个 version 字段记录当前的记录版本，这样在更新时候将该值带上，那么只要执行更新操作就能确定一定更新的是某个对应版本下的信息。(注意可能返回结果不⼀样，删除的数据不存在，返回0，删除的数据多条，返回结果多个,在不考虑返回结果的情况下,删除操作也是具有幂等性的)关于这个分布式服务的幂等性，这是在使用分布式服务的时候会经常遇到的问题，比如，重复提交的问题。而幂等性，就是为了解决问题存在的一个概念了。

2023-10-27 13:15:44 831

原创世界上最低调的编程语言，高并发的王者，程序员翻身的秘密武器！

Paul Graham在《黑客与画家》的“拒绝平庸”这一章也说过，他用一个小众语言Lisp开发了一个电子商务的网站ViaWeb，利用Lisp强大的宏，定制出电子商务领域的DSL，让Viaweb开发速度飞快，他们不断推出新功能，让那二三十个使用C语言和Perl的竞争对手目瞪口呆。而Erlang，很抱歉，它是典型的MIT流派，这是个设计精巧、实现复杂的系统，一旦它不能满足特定需求，想在保证正确性和简单性的同时对它进行修改，非得是高人不可，这一点严重阻碍了Erlang的传播。

2023-10-25 17:16:59 194

原创 select...for update锁表？

最后给大家总结一下select…主键字段：加行锁。唯一索引字段：加行锁。普通索引字段：加行锁。主键范围：加多个行锁。普通字段：加表锁。查询空数据：不加锁。如果事务1加了行锁，一直没有释放锁，事务2操作相同行的数据时，会一直等待直到超时。执行结果：[外链图片转存中…(img-nPTqVi59-1698198712374)]执行成功了，说明这种情况没有加锁。最后给大家总结一下select…主键字段：加行锁。唯一索引字段：加行锁。普通索引字段：加行锁。主键范围：加多个行锁。

2023-10-25 09:52:39 181

原创 Redis为什么变慢了

一个查询在MPP集群中执行时，会拆成一个树状的执行树，这棵树的执行由Coordinator来协调执行，树的叶子节点也叫计划片断（PlanFragment），每一个PlanFragment分配给一个BE节点的查询执行器来执行，这就是查询执行器模块的作用。而Partition级别的缓存会智能地将SQL结果中不同分区的结果数据缓存起来，之后的查询，可以利用已缓存分区的数据加上新分区实时查询的数据得到最终的结果，从而降低重复数据的实时查询需求，减少对系统资源的消耗。另一类是BE，主要负责数据存储、查询计划的执行。

2023-10-24 10:56:28 229

原创 Doris数仓的4大特点

2023-10-24 10:50:19 92

原创 Redis为什么变慢了

一、Redis为什么变慢了对 Redis 进行基准性能测试例如，我的机器配置比较低，当延迟为 2ms 时，我就认为 Redis 变慢了，但是如果你的硬件配置比较高，那么在你的运行环境下，可能延迟是 0.5ms 时就可以认为 Redis 变慢了。所以，你只有了解了你的 Redis 在生产环境服务器上的基准性能，才能进一步评估，当其延迟达到什么程度时，才认为 Redis 确实变慢了。为了避免业务服务器到 Redis 服务器之间的网络延迟，你需要直接在 Redis 服务器上测试实例的响应延迟情况。

2023-10-23 22:32:53 548

原创我试图扯掉这条 SQL 的底裤。只能扯一点点，不能扯多了

好了，写到这里文章也就进入尾声了，到了我拿手的上价值环节了。你现在回过头想想，其实这篇文章真的没有教会你什么特别有价值的东西。如果让我来总结这篇文章，我只会取走文章开头的这个链接：这是官方文档，当你打开这个链接之后，我不相信你不会被侧边栏中的 Optimization 这个单词给吸引住，然后仔细一看，这一章节下有这么多的 xxx Optimization，我不信你没有点开看一眼的欲望：如果你没有这一眼欲望，你抵抗的一定不是技术，因为如果你抵抗技术，你根本就不会打开这个链接。

2023-10-23 19:01:23 737