![](https://img-blog.csdnimg.cn/a9e3d8d070fb4cec8496b1c52ba95146.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
开发工具类
文章平均质量分 84
开发工具类
Jiangxl~
CSDN博客专家、51CTO专家博主、阿里云博客专家、华为云享专家、DevOps运维领域优质创作者、
2021年度博客之星运维与安全领域TOP1,InfoQ签约作者、阿里云社区签约作者。博客包括:Python、前端、Kubernetes、Docker、CI/CD、DevOps、Prometheus、Zabbix、MQ、Redis、MySQL、WEB集群、自动化运维、阿里云、ELK、Linux、等相关使用及进阶知识。查看博客过程中,如有任何问题,皆可随时沟通。
展开
-
如何快速实现多指标计算
在统计分析应用中,从明细数据计算出来的各种指标是支撑业务的重要数据。但是,要做到快速而且灵活的多指标计算,后台数据源面临多个难题。多指标计算的一个难题是涉及的明细数据量非常大。政府、金融、能源和工业等各个行业,都在不断产生大量的明细数据。要在几千万甚至上亿的明细数据基础上计算多种指标,还要达到秒级响应的速度,对于传统数据库和大数据技术来说都是一个不小的挑战。另一个难题是需要同时计算的指标数量非常多。原创 2023-02-14 15:03:11 · 9760 阅读 · 28 评论 -
分布式是大数据处理的万能药?
使用分布式集群来处理大数据是当前的主流,将一个大任务拆分成多个子任务分布到多个节点进行处理通常能获得显著的性能提升。因此,只要发现处理能力不足就可以通过增加节点的方式进行扩容,这也是很多拥趸者最朴素的想法。以至于当我们接触一项新的大数据处理技术往往首先问的就是支不支持分布式以及能支持多大规模的集群,可见“分布式思维”已经根深蒂固。那么分布式真是处理大数据的万能药吗?“万能”当然不可能。没有包治百病的灵药,任何技术都有其适用场景,分布式也一样。能否使用分布式技术解决处理能力问题,要结合任务的特点来看。原创 2023-01-09 09:22:07 · 11216 阅读 · 79 评论 -
SPL 和 SQL 能不能融合在一起?
理论上来讲,SPL是SQL的超集,任何SQL实现的计算的确都可以使用SPL来完成,解释或移植 SQL 是可能的,虽然这也有不少工作量,但难度并不是非常大。高效的代码要针对运算模型的特征去编写,而SQL语句中通常并没这样的信息。SPL则具备简洁高效的特点,提供了更加敏捷的语法可以简化复杂计算,同时支持过程计算天然支持分步编码,计算体系更加开放可以同时针对多种数据源混合计算,利用内置的高性能存储和高性能算法容易获得更高的计算性能,在使用时更加灵活既可以独立使用也可以嵌入应用集成使用。非常遗憾,大概率不可以。原创 2022-12-20 09:00:24 · 7794 阅读 · 44 评论 -
快出数量级的性能是怎样炼成的
我们之前做过一些性能优化的案例,不算很多,还没有失手过。少则提速数倍,多则数十倍,极端情况还有提速上千倍的。提速一个数量级基本上是常态。这是怎么做到的呢?这些被提速的场景都有一个共同点:原先都是用各种数据库(也有HADOOP/Spark)上的SQL实现的,包括查询用的几百行SQL也有跑批用的几千行存储过程,然后我们改用集算器的SPL重新实现之后就有了这样的效果。集算器SPL有什么神奇之处?是不是能让各种运算跑得更快?有点遗憾,并没有这样的好事。原创 2022-11-02 10:30:49 · 3134 阅读 · 26 评论 -
如何获取网站某个接口要传递的参数?
当我们想通过自己开发的工具去调用某个网站的接口,完成某些特殊功能时,可以打开浏览器的f12开发者模式,清空所有请求,点击网站中的功能,这时在开发者窗口中就会弹出对应的请求,点击请求—>Playload。即可看到该接口需要传递的参数。原创 2022-10-31 16:13:55 · 2338 阅读 · 1 评论 -
收藏!2022中小企业最佳DevOps工具
俗话说得好工欲善其事必先利其器,接下来给大家推荐10款最佳的DevOps工具,相信每一款大家并不陌生,一些优秀的工具无论是对于运维还是开发,都是至关重要的,不仅可以降低运维成本还可以提高运维效率。今天分享的10款最佳DevOps工具,基本都是我正在使用的并且附带一些使用感受。推荐的每一款工具,我都会给大家详细介绍工具的优势以及推荐工具的理由。原创 2022-10-20 13:23:33 · 1365 阅读 · 28 评论 -
现在啥软件都有开源,BI 呢?干货推荐
一直以来国内的同学想找一个方便好用的开源BI都不是一件易事,国外的页面不好修改,国内的基本都收费,现在有了润乾开源BI了,同学们可以去试一下了,润乾是做报表起家,是报表行业的领头羊,报表功能好,BI功能也不差,还天然弥补了BI缺少报表能力的短板润乾报表的新老用户,遍布各行各业,已经有很多在用润乾的开源BI了,因为报表自带BI,直接集成到系统里,改改页面,就成了自己系统的BI模块了。原创 2022-10-10 09:17:18 · 6369 阅读 · 29 评论 -
SQL 嵌套 N 层太长太难写怎么办?
我们工作中写SQL处理数据是家常便饭,不管是应用内数据处理还是临时查询分析都可以用SQL完成,相对其他技术(如Java等高级语言)也更简单。不过,SQL的简单只限于简单需求,有些复杂计算场景SQL写起来却很难,嵌套N层以至于达到几百上千行,说SQL代码长度时通常不会以行计而是以KB计。这种情况并不少见,相信经常写SQL的小伙伴并不陌生。为什么会出现这种情况呢?在http://c.raqsoft.com.cn/article/1639032922105 里详细分析了这个问题。虽然SQL比其他数据处理技术更简单原创 2022-09-08 09:06:22 · 6748 阅读 · 49 评论 -
列存数据仓库怎样做才能更高效
采用列存可以只读取需要的列,在总列数较多、计算涉及的列较少时,能减少硬盘访问量,提高性能。但仅此还不够,列存数据仓库还要在数据压缩、多线程并行和查找计算等方面做优化以将列存的效果做到最佳。开源数据计算引擎SPL充分利用数据有序存储的特征,在保持低 CPU 消耗的前提下,实现了较高压缩率的压缩算法,大幅减少了物理存储量,进一步提高了性能。SPL还提供倍增分段机制,解决了列存分段难题,让列存数据也能充分利用并行计算来提高效率。并且,SPL能够自由建立行存、列存数据表,允许开发者自主选择使用,且提供了带值索引。.原创 2022-08-30 09:03:27 · 4666 阅读 · 65 评论 -
不必写一行代码,利用ivx低代码产品开发web平台
今天给他们介绍的软件是这个IVX低代码开发平台,对于开发同事非常友好,可以快速的开发出一个web平台,对于ivx其他的介绍在前面的文章有给大家将结果,本次我们直奔主题,去用ivx开发一个web平台。页面中间的数据都是由表格添加的,我延时其中一个表格的添加,其他表格的属性都一样。选择webapp小程序,输入项目名称,点击创建。在列名显示中也要将数据填上,否则不显示。原创 2022-08-22 09:00:00 · 63690 阅读 · 36 评论 -
如何选择一块真正“好用的、性能高”的远程控制软件
Splashtop商用的远程控制软件可以用于企业使用,官网地址httpsSplashtopInc.成立于2006年,总部位于硅谷,在杭州、台北、东京、新加坡、阿姆斯特丹等地设有分支机构。Splashtop为全球的跨国企业和中小型企业、教育机构、托管服务供应商(MSP)和个人提供安全且易于管理的远程控制和远程支持软件及服务。经过17年的发展,Splashtop现在拥有3000万全球用户、20万企业用户,支持会话超过8亿次。httpshttps。..................原创 2022-08-02 09:16:01 · 6631 阅读 · 28 评论 -
纯干货内容:关于ivx和mendix的对比 还在犹豫选择那个低代码平台的小伙伴看过来
Ivx和mendix都是面向低代码、无代码的开发,今天我们一起聊一聊二者的区别,相信大家看完此篇文章就知道应该如何选择哪一个低代码开发平台了。原创 2022-07-20 13:33:17 · 10146 阅读 · 26 评论 -
Java 嵌入数据引擎从 SQLite 到 SPL详解
可以在Java应用中嵌入的数据引擎看起来比较丰富,但其实并不容易选择。Redis计算能力很差,只适合简单查询的场景。Spark架构复杂沉重,部署维护很是麻烦。H2\HSQLDB\Derby等内嵌数据库倒是架构简单,但计算能力又不足,连基本的窗口函数都不支持。相比之下,SQLite在架构性和计算能力上取得了较好的平衡,是应用较广的Java嵌入数据引擎。SQLite架构简单,其核心虽然是C语言开发的,但封装得比较好,对外呈现为一个小巧的Jar包,能方便地集成在Java应用中。SQLite提供了JDBC接口,可以原创 2022-07-06 09:09:37 · 7343 阅读 · 63 评论 -
数字化新星何为低代码?何为无代码
码是一类新兴的数字化产品,受到越来越多厂商和用户的青睐。低代码刚出现的时候,市场概念相对朴素,用户较容易理解。各类厂商入局后,为了提升差异化竞争能力,纷纷提出各种概念,例如表单驱动、模型驱动、数据驱动、工作流引擎等。2022年,海比研究院研究显示,“难以理解低代码/无代码” 的用户正在大幅上升,用户对于产品的选型和使用表示更加困惑。基于此,海比研究院将对低代码无代码市场展开深度研究,致力于为CIO解决“怎么选低代码无代码”和“怎么用低代码无代码”两大难题。低代码与无代码存在着本质的区别。首先要讨论这个问题,原创 2022-06-27 11:21:55 · 7547 阅读 · 804 评论