叶尘封-CSDN博客

原创记一次项目压测调优，吞吐量tps从15-4800

合理的使用工具可以帮助我们找出代码中很多程序员开发时觉得功能正常但在高并发下漏洞百出的问题。提升我们系统性能和编码水平。

2024-07-17 09:14:34 810

原创 Docker安装DolphinScheduler - mysql

默认已和Docker-compose环境本案例安装海豚调度3.1.0 并将PostgreSQL 替换为mysql但是官网教程里并没有表名基于docker的情况下如何将数据库替换为mysql。

2023-08-04 14:00:25 436 1

主动连接模式是客户端开发端口提供给ftp服务器来连，如果你本地防火墙打开了。那么你会发现你能连接ftp，但是下载或上传文件后文件是空的。注意此处不需要端口映射，之前我只映射了，20，21，22等端口发现，可以连接上ftp但是无法打开目录上传下载文件。被动模式是ftp打开端口客户端连接该端口来传输数据，当时看了网上大部分的写法是将改行写在。主动连接模式：ftpClient.enterLocalActiveMode();需要将连接模式设置到这两行代码前面。//连接ftp服务器。//登录ftp服务器。

2023-03-23 13:49:47 529

转载 java取模场景下设置数组等长度尽量用2的n次方数字

记录一下除数为2的N次方取模可以用与运算替代，效率更高取模运算在包括JAVA在内的大多数语言中的效率都十分低下，而当除数为2的N次方时，取模运算将退化为最简单的位运算，其效率明显提升（按照Bruce Eckel给出的数据，大约可以提升5～8倍）。看看JDK中是如何实现的：Java代码：static int indexFor(int h, int length) { return h & (length-1); } static int indexFor(int h...

2021-12-29 16:11:16 239

原创 java利用数组和位运算构建bitmap

bitmap

2021-12-28 10:30:02 445

原创记一次公司jmeter压测时cpu过高，jvm调优解决方案

问题现象因为涉及到人行征信报文测试的报文有2.7M需要进行特征计算衍生。使用jmeter压力测试发现服务器cpu几乎打满，qps始终只有25左右。换成90k小报文后qps立马就能上到1200后来我使用了一下阿里巴巴的一款Arthas工具打算先分析一下是GC导致的cpu高还是代码中存在死循环之类的代码解决过程因为服务器不能连接外网所以从改地址先下载arthas后再上传到服务器https://arthas.gitee.io/download.html启动命令：java -jar ar.

2021-05-24 11:46:32 5189 2

原创 spi机制

Java spi机制前言简介使用场景spi例子前言最近公司做了一款数据处理工具，需要支持类似于mysql一样的sql解析/运算，且要求易扩展。于是使用了spi机制，通过spi机制可以在业务存在添加新算子（运算函数）的情况下可以不用改动原来项目的代码也不用重新编译，以增量插件的方式便可以将新算子（运算函数）发布到项目中去。简介SPI全称Service Provider Interface，是Java提供的一套用来被第三方实现或者扩展的接口，它可以用来启用框架扩展和替换组件。 SPI的作用就是为这些被扩

2020-08-16 13:19:36 298

原创机器学习-特征工程

最近在处理现金贷的风控智能审核系统。学习机器学习的特征提取。简单的把我使用的流程记录一下1，设备型号、地址、城市、gps定位地址不计入分类器分类因素；2，对学历类有大小关系的类型字段采用阿拉伯数字又大小的转换；3，对导流渠道、进件渠道、注册渠道、从事行业、发行包渠道、直系亲属、紧急联系人等没有大小关系的类型字段做独热码处理；4，踢出一个样本类列空值超过5个数据5，对空值采用训练数据的均值为默认值6，

2017-10-13 10:54:15 230

原创机器学习-归一化、标准化

最近学习机器学习，往往需要对数据进行预处理，今天记录一下预处理中的归一化、标准化的意义。归一化要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保正程序运行时收敛加快。一般指将数据限制在[0 1]之间。主要是为了数据处理方便提出来的，把数据映射到0-1之间处理，更便携快速。一般使用公式：标准化

2017-09-29 14:49:16 383

原创 Python实现KNN算法

前段时间学了一段时间的机器学习理论，现在试试使用Python实现一下，本人实java开发，也是刚开始学习Python，记录一下。本文参考自：http://blog.csdn.net/zouxy09/article/details/16955347一、kNN算法分析 K最近邻（k-Nearest Neighbor，KNN）分类算法可以说是最简单的机器学习算法了。它

2017-09-08 11:18:32 431

原创 Python3.6爬取网站图片

最近几天在学校python，写了个简单的爬虫程序：成功运行代码的前提是安装了python需要的第三方库，以下是代码：# -*- coding:utf8 -*-import osimport reimport requests as rqimport urllibfrom bs4 import BeautifulSoup#下载图片def getHtml2(): html

2017-09-01 18:16:38 1318 1

原创机器学习-线性回归-最小二乘法

一，背景1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的方法发表于1

2017-07-21 16:54:55 673

原创机器学习-模型的评估与选择

机器学习-模型的评估与选择如今的世界AI出现的频率越来越高，相信过不了多久就会想java一样普及了。为了不使自己落后。只能跟上时代的步伐了，谁叫自己选择了一个对知识更新要求这么强的行业呢！最近在看几本关于机器学习的数据。算法对于程序来说还是一如既往的是其根基。发现从周志华的《机器学习》入手理论更适合，写个博客分享一下。《机器学习实战》和《统计学原理》可以同时看，会发现有些单看一本书不能理解

2017-07-20 15:14:49 970 1

原创多线程之synchronized和volatile

原子性：指相应的操作是单一不可分割的操作。如：value++就不是原子操作。因为value++可以分解为三个操作（1，读取变量value当前的值；2，那value当前的值做加法运算；3，将运算后的结果赋值给value）在多线程环境中，非原子性的操作会受到其它线程的干扰。比如上面的例子如果没有进行代码同步（synchronized）处理，则可能出现在执行第二个操作的时候value的值已经

2017-02-15 17:19:58 237

原创 JS实现HTML中frameset浏览器全屏和退出全屏

/* 全屏 */ function fullScreen() { var el = document.documentElement; var rfs = el.requestFullScreen || el.webkitRequestFullScreen || el.mozRequestFullScreen || e

2017-01-04 13:38:39 1450

原创看Spring的单例模式

简介记得初学spring时，一直疑问spring的controller是否是多例的。第一反应：多例，因为想到如果是单例模式则无法保证非静态成员变量是线程安全的。随着学习的深入，逐渐发现spring的controller其实是单例模式。Spring单例设计成单例的好处：保障程序的性能。理由：设计成单例可以不用每次访问都实例化一个controll

2016-12-28 09:53:55 366

原创 MongoDB索引

Mongodb索引在mongodb中一个条件查询语句，mongodb会去检索每一个文档中的每一个字段。如果数据量增大将会极大的增加数据库的压力，并且极大的降低查询速度，将结果限制为1，则匹配到一条文档后会停止扫描，可以提升效率。但是如果要匹配的数据是最后几条就。。。所以同关系型数据库一样可以使用索引。当你创建完成之后会发现查询的速度会大大提升。代价：对于每添加的一个索引

2016-12-25 21:49:38 330

原创 MongoDB之高级查询一

MongoDB之高级查询一：需要返回指定的键，可以通过find/findOne的第二个参数来指定想要的字段的值，语法：Db.collname.find({条件},{“name”：1，“pwd”:1});如果把1改为0，则是相反，不显示该字段。可以以此将_id去掉二：$in:同sql中in可以使用多个值匹配查询，语法：{“字段1”:{“$in”:[1,2,3]}}三：

2016-12-22 16:36:54 320

原创 Echarts四周的边框的样式

今天在使用echarts的时候，突然发现页面高度不够用了。需要将echarts周围的边框去掉，以此腾出空间。通过翻阅api终于找到grid选项可以操作。通过博客记录一下grid:直角坐标系内绘图网格{number} zlevel0一级层叠控制。每一个不同的zlevel将产生一个独立的canvas，相同zlevel的组件或图标将在同一个canvas上渲

2016-12-22 16:03:40 8964 3

原创 logstash安装文档

logstash是一款日志采集工具，开发语言是JRuby，你可以收集日志到多种存储系统或临时中转系统，如ElasticSearch，MySQL，redis，MongoDB，kakfa，HDFS, lucene，solr等。官网地址：https://www.elastic.co/downloads官网文档：https://www.elastic.co/guide/en/logstash/

2016-12-16 15:23:01 646

原创 MongoDB修改器

修改器$$inc:使用该关键字可以增加某个字段的值，如果该字段不存在则创建并把值作为初始值，,语法：{”$inc”:{“age”:1}}给age字段的值加1，负数为减； $set:用来指定一个字段的值，如果该字段不存在则创建它,同时它可以修改值的类型，内嵌文档，语法：{”$set”:{“book”:”spring3.0”}} $unset:删除键，

2016-12-09 13:32:55 526 2

原创 MongoDB使用详解

1，为数据库添加用户和权限1.0、添加一个用户 db.addUser("userName", "pwd123", true);添加用户、设置密码、是否只读1.1、数据库认证、安全模式 db.auth("userName", "123123");1.2、显示当前所有用户 show users;1.3、删除用户 db.removeUser("userName

2016-12-06 13:57:48 472 1

qq_31247885的博客