自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

猫敷雪

研一在读!

  • 博客(535)
  • 资源 (15)
  • 收藏
  • 关注

原创 付费课程:对于爬虫、逆向、抓包、接口构造感兴趣的同学可以了解下

因人而异,感兴趣的同学可以私聊我,进行针对性指导、教学。线上或者线下课程皆可,一对一教学。

2023-04-27 23:20:04 1833 5

原创 JS逆向之企名科技

说咱们的f没有被定义,咱们去找一下f,f就在decode函数里,鼠标放上去发现f就是一串固定正则:/[\t\n\f\r ]/g,我们把它定义好放到decode函数里,即 var f = /[\t\n\f\r ]/g。好了,目前为止我们已经把我们需要的加密函数搞到了,接下来就开始编写python代码进行调试。打上断点开始调试,像这种加密的一般都会有一个json.parse的函数。发现网页数据encrypt_data被加密了,接下来开始尝试解密。发现c没有被定义,依然是在decode函数里。

2024-05-20 17:03:34 9

原创 169. Majority Element

由于 2 是超过半数的数,它的二进制是 010,所以对于从右边数第一列一定是 0 超过半数,从右边数第二列一定是 1 超过半数,从右边数第三列一定是 0 超过半数。当然,我们可以只统计 1 的个数,让每一位开始默认为 0,如果发现某一列的 1 的个数超过半数,就将当前位改为 1。这样经过充分时间的游戏后,最后的结果是确定的,一定是超过半数的那个队伍留在了最后。,0 或者 1,然后这些超过半数的二进制位组成一个数字,就是我们要找的数。遍历每一位,如果某一位上1的个数超过 n//2,则将该位设置为1。

2024-05-20 14:55:38 591

原创 Kaggle赛题总结:Enefit - Predict Energy Behavior of Prosumers

竞赛旨在解决能源不平衡的问题,即预计使用的能源与实际使用或产生的能源不符。自发自用者是既消耗又产生能源的个体,他们在造成能源不平衡方面起到了重要作用。尽管他们只占所有能源消费者的一小部分,但他们不可预测的能源使用行为给能源公司带来了物流和财务问题。如果不加以解决,可能会导致运营成本增加、电网不稳定以及能源资源的低效利用。如果这个问题得到有效解决,将显著降低不平衡成本,提高电网的可靠性,并使自发自用者更高效和可持续地融入能源系统中。

2024-05-14 09:21:49 45

原创 solar-features时间序列任务完整数据处理&预测流程

文章目录引言Read base DataRead and Preprocess External Datasetsholiday_path:Calendar.csv,日期相关数据izmir_tempizmir_humizmir_windizmir_meteostatproduction.csv:能源产出Feature EngineeringMerge Features to Main DFModellingparams参数介绍catboost参数介绍Feature ImportanceStage 1 Mod

2024-05-14 09:12:51 24

原创 spark分布式预测和保存过程中遇到的问题记录

通过上述配置,使得可以在内网jupyter环境下完成对江苏省30w+台区,三个月数据的预测和保存。大大缩短了时间,提高了处理效率。

2024-05-09 22:19:15 103 1

原创 python实现socks5IP代理

针对之前做的软件,由于IP限制,因此加入IP代理,方便后期直接调用。IP代理商:https://www.laoliu.cn/ips/

2024-04-17 15:00:53 138

原创 雪球acw_sc__v2 加密参数构造解析

接着,跳转到源代码,刷新网页,进行调试,首先进入debugger模式,需要反debug调试。依旧是先清除cookie,打开源代码,在右侧时间侦听器断点,在脚本处勾选,刷新网页。下面先对第一个today进行代码编写,可以看到获取到一段js代码和acw_tc参数。进入到最终的reload函数中,这和第一段today脚本获取的js代码对上。继续执行,进入到debug中了,这时候反debug解析。点击保留日志,这里显示有两次请求,分别分析下。这个参数才可以,下面对其进行分析。然后直到还原完成,大体内容就如此。

2024-04-05 16:25:12 139

原创 有道翻译实现接口加密解密

我们仔细看一下,发现它是一个解密过程,传进已加密的数据 + key + iv ,经验足够的兄弟可以看出可能是一个aes加密解密。初看:post请求,携带的参数有我们输入的中文:你好,再看返回数据:多试试结果翻译结果发现它是变化的,对于这样我们只有去多找找了。并且发现key 和 iv 没有变,是固定值,找到规律了,因为发现 key 和 iv 是没变的,所以先将他们 MD5处理了。还真找到了一个,对有道网页翻页的结果,也就是happy点击的时候,发现了新的接口。发现是md5加密,也就是先加密,再解密。

2024-03-24 21:55:26 175

原创 IOS抓包工具Stream抓包使用教程

安装完成后会提示信任证书点击信任证书,或者直接在设置中搜索信任进入证书信任页面。这时app会自动跳转至浏览器下载证书文件,允许即可。点击开始抓包,进入需要抓包的页面或者app。1.首先在应用商店搜索并下载stream。进入抓包历史页面就可以查看抓取的数据了。选择安装证书,允许应用添加vpn配置。下载完成后在描述与文件中安装证书。抓包结束后点击停止抓包。

2024-02-26 14:31:18 1439 1

原创 三次样条函数插值(Cubic spline function interpolation)

已知部分离散的数据,但不知道满足这些数据的函数表达式,插值(和拟合)都是为了找到对应的函数表达式。区别在于,插值函数能够穿过已知点,拟合只求函数图形神似而不求穿过已知点。

2024-02-22 09:14:45 78

原创 使用python给程序添加授权码,设置授权时间、撤销授权和管理授权

若查到记录,则检查其授权时间是否过期,若过期说明授权失效,验证失败,否则验证通过。是否合法,若验证通过,则直接进入程序,若未找到授权文件或者授权文件校验失败,则进入重新授权流程。添加授权时,输入机器码和授权时间,然后向服务器请求注册,服务器收到请求后会在授权表中新增一条记录。删除授权时,输入机器码,然后向服务器请求删除授权,服务器收到请求后会在授权表中清空相应的记录。注册机程序用来对程序进行授权管理,包括 添加授权,删除授权,授权查询 等功能。撤销授权时,根据机器码查找记录,并将该条记录中的授权时间清零。

2024-02-07 10:38:44 453

原创 校准大麦服务器时间,实现本地时间和服务器时间同步,无缝衔接抢购

这时候有两种思路,第一种是每秒钟请求一次服务器,这种操作不推荐,因为频繁访问可能会导致服务器崩溃,并对安全性很低。另一种是发送ajax请求,从响应头获取服务器时间,然后和本地时间进行对比,计算两者之差,然后让本地之间加上时间差,就是准确的时间了。在使用大麦进行商品抢购倒计时,涉及到一个问题,就是时间的准确性,如果使用本地手机或者电脑的时间与服务器时间不同步,即使是1秒或者百毫秒内的误差,都会影响抢购的成功准确率。因此,针对上述问题,我们提出了一种解决方法,将本地时间和服务器时间同步。

2024-02-05 16:30:07 1398 8

原创 sklearn模型指标和特征贡献度查看

r2_score 是一种用于衡量回归模型性能的统计指标,也被称为决定系数。这个指标表示模型对数据的拟合程度。计算总平方和 (Total Sum of Squares, TSS): 这是真实值与其平均值的差的平方和。计算残差平方和 (Residual Sum of Squares, RSS): 这是真实值与预测值的差的平方和。计算 R² 分数: R² 分数是 1 减去 RSS 与 TSS 的比值。R21−RSSTSSR21−TSSRSS​其中,yiy_iy。

2024-02-05 15:10:42 687

原创 遗传算法 (Genetic Algorithm, GA) 详解与实现

选择的基准就是个体的适应度。如果交叉发生,则对child1,child2,parent1,parent2进行适应度比较后,保留较好的进入新种群,也可以都进入新种群,具体怎么做没有标准,可以根据具体问题自行选择。初代种群产生之后,按照适者生存和优胜劣汰的原理,逐代(generation)演化产生出越来越好的近似解,在每一代,根据问题域中个体的适应度(fitness)大小选择个体,幵借助于自然遗传学的遗传算子(genetic operators)进行组合交叉和变异,产生出代表新的解集的种群。

2024-01-11 15:08:40 542

原创 粒子群算法Particle Swarm Optimization超详细解析+代码实例讲解

粒子群算法,也称粒子群优化算法或鸟群觅食算法(Particle Swarm Optimization),缩写为 PSO, 是近年来由J. Kennedy和R. C. Eberhart等开发的一种新的进化算法(Evolutionary Algorithm - EA)。

2024-01-11 11:27:35 474

原创 详述numpy中的np.random各个函数的用法

该函数括号内的参数指定的是返回结果的形状,如果不指定,那么生成的是一个浮点型的数;返回结果:返回值是一个大小为size的数组,如果指定了low和high这两个参数,那么生成的元素值的范围为[low,high),不包括high;我们前面已经说过了rand()这个函数,它返回的元素值是服从0-1的均匀分布,那如果不想要生成的是0-1范围内的均匀分布,想要其它范围内的均匀分布怎么办呢。其返回值的元素类型为浮点型。结果中的每一个元素是服从0~1均匀分布的随机样本值,也就是返回的结果中的每一个元素值在0-1之间。

2023-12-28 10:45:14 952

原创 装饰器处理超时函数退出&线程堵塞场景、处理方式

在购物场景中,一个常见的线程堵塞案例可能涉及到库存管理。线程堵塞通常发生在多线程程序中,当一个线程在等待某个条件满足或等待其他线程释放资源时,它会停止执行,进入"堵塞"状态。什么是线程阻塞:在某一时刻某一个线程在运行一段代码的时候,这时候另一个线程也需要运行,但是在运行过程中的那个线程执行完成之前,另一个线程无法获取到CPU执行权,这时就会造成线程阻塞。输出结果如下,task在等待3秒后,退出程序,导致后面的语句没有执行,导致线程堵塞,因为上面只有一个主线程,没有创建其他线程。

2023-12-26 17:12:42 953

原创 浅拷贝和深拷贝

浅拷贝:仅复制对象的第一层,子对象仍然是共享的。深拷贝:完全复制整个对象,包括所有层级的子对象,新对象完全独立于原对象。在实际编程中,选择使用浅拷贝还是深拷贝取决于你的具体需求,特别是你是否需要完全独立的对象副本。

2023-12-26 16:07:13 368

原创 numpy中一些常见计算

总而言之,虽然方差提供了离散程度的数学定义,但标准差因为其直观性和实用性,在实际应用中更为广泛。它提供了一种简单、直观的方式来描述数据的变异性,并且在许多统计方法和实际应用中都非常重要。总而言之,方差提供了一种量化数据波动性和不确定性的方式,对于理解数据集的特性、评估风险和不确定性以及进行科学研究都至关重要。在一个numpy数组求和、均值时,如果这个数组里包含了nan,则程序会报错或者求出来的值是nan,如下代码所示。方差是统计学中衡量数据离散程度的一个重要指标。方差越大,表示数据的分散程度越高;

2023-12-22 19:33:45 887

原创 apply&lambda&agg函数用法

求每一列平均值求每一行的均值支持匿名函数df.apply(lambda x : x.max() - x.mean())#列对每个值运算自定义函数及传参对部分列进行操作结合if的用法。

2023-12-22 19:28:56 376

原创 Python基于joblib的并行计算&进程&线程&multiprocessing多核并行计算

总的来说,joblib是一个非常适用于需要大规模并行处理和缓存重复计算结果的任务的库,特别是在数据密集型的应用中,如机器学习、数据预处理和科学计算。X, y,这段代码的意思非常简单,即是用n_jobs个CPU来计算函数,其中参数为而这里只有作为被枚举的变量,其它参数始终保持不变。至于里为何要用clone函数是因为如果直接将传入的话,这个模型在外部也将会被改变。具体原因可以参看其它文档。

2023-12-19 21:05:37 1289

原创 pandas中date_range生成指定日期

start:string或datetime-like,默认值是None,表示日期的起点。end:string或datetime-like,默认值是None,表示日期的终点。periods:integer或None,默认值是None,表示你要从这个函数产生多少个日期索引值;如果是None的话,那么start和end必须不能为None。freq:string或DateOffset,默认值是’D’,表示以自然日为单位,这个参数用来指定计时单位,比如’5H’表示每隔5个小时计算一次。

2023-12-18 13:55:48 428

原创 Transformer注意力机制模型介绍

Transformer是一个利用注意力机制来提高模型训练速度的模型。关于注意力机制可以参看这篇文章,trasnformer可以说是完全基于自注意力机制的一个深度学习模型,因为它适用于并行化计算,和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络。最后祭出这张经典的图,最初看这张图的时候可能难以理解,希望大家在深入理解Transformer后再看这张图能够有更深刻的认识。

2023-12-14 15:14:55 951

原创 NLP中的Seq2Seq与attention注意力机制

到这里,本文已经介绍了seq2seq模型的基本概念及seq2seq中的注意力机制,希望能帮到大家。

2023-12-13 17:06:09 1002

原创 wandb可视化自动调参

设置优化指标,以及优化方向。sweep agents 通过 wandb.log 的形式向 sweep controller 传递优化目标的值。超参空间可以分成 固定型,离散型和连续型。固定型:指定 value离散型:指定 values,列出全部候选取值。连续性:需要指定 分布类型 distribution, 和范围 min, max。用于 random 或者 bayes采样。# 固定不变的超参# 离散型分布超参},})# 连续型分布超参'lr': {'max': 0.1},

2023-12-06 17:19:48 524 1

原创 Informer时序模型介绍

具体写在云上了还可以参考文章如下Informer时序模型自定义项目首先,在不更改任何参数的情况下跑完代码,会在项目文件夹中生成两个子文件夹checkpoints文件夹中包含训练完成的模型,后缀名为.pth,该模型文件包含完整的模型架构与各层权重,可以通过torch.load函数加载模型results文件夹中包含metrics.npy、pred.npy、true.npy三个文件,pred.npy表示模型预测值,true.npy表示序列真实值。

2023-12-06 14:37:24 458

原创 windows下dmPython操作达梦数据库环境配置

将D:\software\达梦库\安装程序\drivers\dpi下所有文件拷贝到python的site-packages目录下面。有两种解决办法,第一种办法,按照提示地址,安装编译工具 Microsoft Visual C++ Build Tools。进入dmPython的官方安装源,如我的目录为:D:\software\达梦库\安装程序\drivers\python。第二种办法更加简单,请使用whl安装包(最好)或者exe安装包,因为已经打包好VC++环境。使用CMD进行setup.py编译。

2023-12-06 11:00:43 1083

原创 LSTM+CNN实现时间序列预测(负荷预测)

为了查看模型的训练效果,我们采用可视化的方式来对比真实值和预测值的差距,对于绘图,我们采用了经典的可视化库matplotlib# 绘制结果plot_size = 200 # 绘制前200个样本plt.show()plt.show()解释下上述代码,首先定义了plot_size,这个变量是用来绘制样本数的,因为我们的数据集中存在几千个样本,如果全部绘制,会导致曲线过于拥挤,为了更好的观察拟合效果,所以只绘制其中一小部分。还有一处需要说明的是。

2023-11-24 16:30:03 1269

原创 一键将CSDN博客文章如何转为Markdown

【代码】一键将CSDN博客文章如何转为Markdown。

2023-11-15 17:22:18 825 1

原创 滑动窗口详解

为了提升数据的准确性,将某个点的取值扩大到包含这个点的一段区间,用区间来进行判断,这个区间就是窗口。移动窗口就是窗口向一端滑行,默认是从右往左,每次滑行并不是区间整块的滑行,而是一个单位一个单位的滑行。index 0,1 为NaN,是因为它们前面都不够3个数,等到index2 的时候,它的值是怎么算的呢,就是(index0+index1+index2 )/3。具体来说,rowsBetween(start, end) 中的 start 和 end 参数决定了窗口函数在每一行上计算的数据的范围。

2023-11-09 17:35:26 195

原创 linux如何查看文件目录大小

首先查看下du有哪些参数。du 参数 文件目录。

2023-11-06 10:25:50 171

原创 在 Windows 上安装 Java指南

新建一个值为 `%JAVA_HOME%\bin`的变量,这里 `%JAVA_HOME%` 的写法表示调用我们刚刚定义的环境变量`JAVA_HOME`。也就是说,这里我们新建的变量实际上就是`C:\Program Files\Java\jdk-15.0.1\bin`目录,这样写是为了更直观,容易维护,如果你需要修改 Java 的安装目录,直接编辑`JAVA_HOME`变量即可完成修改。最后,将我们刚刚添加的 `JAVA_HOME` 的 `bin` 目录附加到系统变量 PATH 上。

2023-11-06 09:19:28 539

原创 Windows11搭建kafka-python环境

Kafka是一个分布式的基于发布/订阅模式的消息队列,主要用于大数据实时处理领域。发布/订阅:消息的发布者不会讲消息直接发送给特定的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的消息。

2023-10-27 16:23:46 602

原创 windows本地搭建mmlspark分布式机器平台流程

将com.microsoft.ml.spark_mmlspark_2.12-1.0.0-rc3-49-659b7743-SNAPSHOT.jar进行解压,将里面的mmlspark整个目录放置到python的site-packages目录下,这样就离线安装好了python的mmlspark第三方包。主要的搭建思路和下载软件各个版本是经过了不断搜索尝试和复现google colab的环境才成功的,网上针对此类环境搭建的博客少之又少,遂记录于此,希望对后人有所帮助。需要配置环境,具体的坑有两个。

2023-10-23 14:18:38 1102

原创 pandas数据的异常值判断、可视化以及异常值的处理

从结果图中,我们可以看到,上下两条直线就是正常值的上下限,下面那条线下面没有任何东西,代表没有小于下限的异常值,上面那条线上有许多⭕,代表着有许多超出上限的异常值。对比这两种方法,从结果上来看,差距不大,相对而言,matplotlib包中的箱线图使用的是第二种方式进行异常值分析。接着上面的继续,上面我们提供了两种方法进行异常值的判断,接下来我们使用python中matplotlib的箱线图进行展示。quantile(q=0.25)和quantile(q=0.75) 分别是取下四中位数和上四中位数的值。

2023-10-08 14:34:57 344

原创 Python--traceback模块的基本用法(异常处理)

在日常开发中,我们会做一些基本的异常处理,但是有时候只能打印我们处理的结果或者将异常打印出来,不能直观的知道在哪个文件中的哪一行出错。try:print("错误信息:", e)func(1, 0)运行结果:try:except:func(1, 0)运行结果:此错误输出包含诊断问题所需的所有信息。错误输出的最后一行一般会告诉你引发了什么类型的异常,以及关于该异常的一些相关信息。错误信息的前几行指出了引发异常的代码文件以及行数。Python官网中有关traceback介绍。

2023-10-08 10:18:24 247

原创 在 Python 中按多个属性对对象列表进行排序

这篇文章将讨论如何在 Python 中按多个属性对对象列表进行排序。

2023-10-08 09:24:32 238

原创 pandas从时间序列中判断是一周的第几天或星期几

【代码】pandas从时间序列中判断是一周的第几天或星期几。

2023-09-11 21:36:24 330

原创 douyin【商品抢购js脚本】

脚本主要用来实现抢购douyin商城、直播间秒杀商品等一系列商品。

2023-09-11 21:14:28 2029

wps-office-2016专业版本

wps_office_2016专业版本

2022-12-15

C# winform简单易用的异步加载Loading效果

C# winform简单易用的异步加载Loading效果

2022-09-23

c# Aspose.Slides 17.9版本

c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9版本 c# Aspose.Slides 17.9

2022-09-22

CSS之jQuery删除指定行

CSS之jQuery删除指定行

2022-01-26

mysql-8.0.24-winx64.msi

windows系统下mysql8.0.24安装包

2021-09-03

site-packages环境需要的安装包

site-packages环境需要的安装包

2021-08-18

site-packages.zip

python用到的各种包

2021-08-04

mysql.data.zip

可以用于visual studio中Frame .Net4.5的Mysql包

2021-08-04

软件下载地址.txt

Tableau 10.5 数据可视化软件

2021-01-26

2019年厦门国际银行“数创金融杯”数据建模大赛数据集

2019年厦门国际银行“数创金融杯”数据建模大赛数据集

2020-12-18

TensorFlow 2.0深度学习算法实战---第7章 反向传播算法.rar

TensorFlow 2.0深度学习算法实战---第7章 反向传播算法 本章我们将从理论层面学习神经网络中的核心算法之一:反向传播算法(Backpropagation,BP)。实际上,反向传播算法在 1960 年代早期就已经被提出,然而并没有引起业界重视。1970 年,Seppo Linnainmaa 在其硕士论文中提出了自动链式求导方法,并将反向传播算法实现在计算机上。1974 年,Paul Werbos 在其博士论文中首次提出了将反向传播算法应用到神经网络的可能性,但遗憾的是,Paul Werbos 并没有后续的相关研究发表。实际上,Paul Werbos 认为,这种研究思路对解决感知机问题是有意义的,但是由于人工智能寒冬,这个圈子大体已经失去解决那些问题的信念。直到 10 年后,1986 年,Geoffrey Hinton 等人在神经网络上应用反向传播算法 (Rumelhart, Hinton, & Williams,1986),使得反向传播算法在神经网络中焕发出勃勃生机。

2020-03-28

4.猫眼电影爬取并分析.rar

我们爬取的内容来源于猫眼电影. 我们先来寻找一下数据接口,一般是保存在JSON里面。 JSON接口是:http://piaofang.maoyan.com/second-box?beginDate=20190726

2020-03-09

bigdata-master.rar

基于之前的文章[Python实战:抓取肺炎疫情实时数据,画2019-nCoV疫情地图](https://blog.csdn.net/weixin_35770067/article/details/104172396)简单可视化了疫情的情况。基于网络上有很多大牛已经完成了众多前端模板的开发。我选择了一个较好的可视化前端页面。最后效果展示如下。

2020-02-27

seetaface.rar

seetaface分为FaceDetection(人脸检测)、FaceAlignment(人脸对齐)、FaceIdentification(人脸识别)三个模块,三个模块相互独立,综合利用起来即可实现最终的人脸识别功能。

2020-02-27

seetaface人脸识别模块-FaceIdentification.rar

seetaface分为FaceDetection(人脸检测)、FaceAlignment(人脸对齐)、FaceIdentification(人脸识别)三个模块,三个模块相互独立,综合利用起来即可实现最终的人脸识别功能。

2020-02-27

FaceAlignment-人脸对齐.rar

seetaface分为FaceDetection(人脸检测)、FaceAlignment(人脸对齐)、FaceIdentification(人脸识别)三个模块,三个模块相互独立,综合利用起来即可实现最终的人脸识别功能。

2020-02-27

人脸检测-检测到人脸.rar

seetaface分为FaceDetection(人脸检测)、FaceAlignment(人脸对齐)、FaceIdentification(人脸识别)三个模块,三个模块相互独立,综合利用起来即可实现最终的人脸识别功能。

2020-02-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除