perliu的专栏

我们用验证数据和最优权重计算后得到了每组预测结果[y1, y2, y3 ...]，那别忘了这些预测结果都是0和1之间的数，我们要把他们归类成0或者1，对吧，归类就需要一个判断条件吧，大于等于一个数归类成1，小于这个数归类成0。把正负样本配对进行计算，实际就是两层循环，先循环所有实际值为1的正样本，对每个正样本循环配对实际值为0的负样本，循环时间成本就是P*N，这个成本并不高，因为用来做验证模型的数据集的数据量并不大。看这个曲线下的面积，就是图中蓝色阴影面积，这个面积越大越好，这个面积有个名字叫。

一般默认权重组为[0.5, 0.5, 0.5...]，第一次计算后我们调整每一个权重的值再次计算，权重值的调整根据预测值和真实结果之间的差值，再结合每一个自变量的值以及调整步长来重新计算得到，这这样每个自变量的权重都是不同的，都是跟自变量本身数据相关的。我们准备好的一组样本数据并不是计算一次就ok了，我们需要反复计算，来得到ROC曲线，用验证数据集的所有数据计算一次就是ROC曲线上的一个点，如果我们想要一个有100个点组成的曲线，那么就要计算100次。网上关于AUC的计算有多种方式，我用了排序计算的方法。

这个目前正在研究，等研究明白了，再来补充。

我们以离家远中近分三行来看，离家近的概率是所有学校离家近的累计和，除以全部学生数（50+40+30+10）/（50+40+30+10+10+20+30+30+5+10+20+50）= 130/305 = 42.62%。，既然学籍和离家远近没有关系，那么在小学学籍的样本数据中，离家近的应该占42.62%，中的占29.51%，远的占27.87%，他应该符合这个概率分布。我们一般使用0.05的概率为基准，作为置信区，如果出现的计算概率值小于0.05，就说明有极小的可能性原假设是成立的，反之理解就是原假设不成立。

但是经过计算后发现这个比值远大于1，就是说组间的误差明显体现出来了，那肯定是这个分类的不同对目标数据有影响呀，那我们的原假设H0就不成立，必须要承认自变量和因变量有相关关系，自变量分类的不同，明显影响到了因变量的数据。组内误差SSE可以看出是否异常毛刺数据比较多，也就是随机误差太大，比如小学组的人工资平均是100，但是有个别人工资是1000，这样的异常数据少的话，那组内误差SSE也不会太大，但是这样的异常数据太多，那就要考虑看看是否要修正数据了。不不不~~~ 这么算，体现不出两组数据的差异波动。

从数学公式角度来看，数据可分为两类，自变量和因变量。y=x+1 这个一次函数中，x是自变量，y是因变量，也就是说也是随着x的取值变化而变化的。那么我们在做预测模型的时候，预测的结果就是因变量，用来计算预测结果的数据就是自变量。举个例子，性别、年龄、血压、死亡，这四项数据中，死亡就是因变量，也是我们要预测的结果，性别、年龄、血压就是自变量，利用这三项数据的变化预测是否死亡。另外从数据的本身内容来看，还可以分为定类、定序、定距、定比四种类型（可能也有别的叫法）。这四种再归类可分为定类、定量两种类型。

1、补全处理：有些原始表里的数据不是必填项，所以会有空值的情况，对于空值的补充处理要根据该字段的作用来分析处理，如果是空值有代表意义那就保留空值，如果空值没有代表意义，只是数据不完整，那可以根据情况用如下几种方式补充：均值补充、随机数补充、固定值补充、规律值补充等。

本没有专门要写这篇文章，但是在项目过程中总要沉淀一些东西，不写下来肯定过两年就忘了。写的粗浅，也只能作为引子启发一下初入算法开发的新朋友们，老鸟儿就将就着看看吧，欢迎斧正。这中间在对数据分析后可能需要再次清洗，然后再分析；或者带入训练后根据结果再清洗，再训练。总之，是个反复的过程。我是在做一个医疗的项目，预测疾病发生概率的模型，下面针对每个环节展开记述。以上内容就是这篇系列文章的目录。我会不断完善更新的。

为了更有效率，也能更好的节省服务器内存，一般情况都是读取文件一部分内容就处理一下，然后再读取一部分，每次读取相同大小的文件内容放到缓冲区里。这样缓冲区的内容被处理后，就抛弃掉，再读进来新的数据继续处理，避免了内存不够的问题，也节省了IO的操作成本。那这个大兄弟到底能干啥？这使用了系统默认的字符集，一般中文系统字符集都是GBK或者GB2312吧，但是其他国家有用UTF-8的，当你拿到utf-8的文件，你用系统默认的GBK可能读取的字符就会有问题。我们之前介绍过的 【FileInputStream】有印象吗？

FileInputStream 和 FileReader 是远房亲戚，从等级上来说算是uncle了吧。但是这个uncle的构造参数和FileReader是一毛一样，要不然怎么算亲戚呢。哎~这代码跟 FileReader 也差不都呀，就是将 char[]换成了byte[]而已哦，对，没看错，就是这样，嘿嘿。上篇讲了FileReader，说到读取字节就要找兄弟FileInputStream，那就说说兄弟。

操作，是因为最后一次读取的时候可能剩下的文件内容不够1024个字符了，这个时候就要按照读取到的字符数量从数组中截取内容，否则数组中后续其他内容是上次读取的字符数据，没必要再重复处理了。读取文件内容，而且是按照字符读取，一个字母算一个字符，一个汉字也算一个字符，但是回车是一个字符，换行是一个字符，\r
(回车换行)是会被读成两个字符的。这是按照字符处理，如果读取的文件不是文本文件，例如图片、视频、zip等等，那就要按照字节读取，FileReader： 臣妾做不到啊！

should override some of these methods and may also provide additional methods and fields.” 就是说子类应该重写一些自己要特殊处理的父类方法，也可以在子类中增加一些父类没有的自有的方法，为 FilterReader 这个父类扩展更多的功能。3、很少有直接从文件读取内容，然后一个一个字符处理的情况，因为从文件读取完全没有必要用这个类，有FileReader去处理。2、从数据库中读取的数据要按照字符处理一个一个读取处理；

经常在json对象、类、字符串之间徘徊

实现防抖功能，防止用户快速多次点击。延迟时间自己设置，以最后一次点击为准。只支持vue3的setup语法糖。实现节流功能，防止用户快速多次点击。延迟时间自己设置，以第一次点击为准。只支持vue3的setup语法糖。在工程的components目录下创建名字为。在工程的components目录下创建名字为。的目录，在该目录中创建。的目录，在该目录中创建。组件页面，下载源码.

接上一篇 RestTemplate的basic auth使用；在spring5后官方带来了WebClient，说是以后替代RestTemplate了，不知道真假哈，既然有了新东西，就研究一下使用方法呗，也同时做个备忘笔记。老规矩，先上结果，后说问题：import org.springframework.http.HttpHeaders;import org.springframework.web.reactive.function.client.WebClient;import react

在org.springframework.web.client.RestTemplate这个类的使用过程中遇到了点小疑惑，这里和大家分享一下，同时也是做个备忘录。先给结果，后说疑问：//方法一 使用RestTemplateBuilder来实例化RestTemplateBuilder builder = new RestTemplateBuilder(); RestTemplate restTemplate = builder.basicAuthentication("username", ".