自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(245)
  • 资源 (10)
  • 收藏
  • 关注

原创 文档处理新探究成果——前沿技术CCIG文档图像智能分析论坛分享

图文智能处理前沿技术一直是我所关注的技术,尤其在现在集成多态大模型的基础之上,每一次技术突破都有可能带来新的行业领域突破和技术变革。而图像图形处理技术有关的峰会和论文往年都比较少,想要了解最新前沿技术进展的机会较少,且现在能够运用图文处理技术的业务场景越来越多,技术需求和人员储备也越来越大,因此关于中国图象图形大会我们还是很有必要关注的。CCIG文档图像智能分析与处理论坛最近在苏州举办众多专家学者将齐聚苏州,开启“最强大脑”,为大家带来一场精彩的学术盛宴。

2023-05-22 12:35:30 1762 36

原创 【腾讯云 Finops Crane集训营】Finops Crane究竟能为我们带来什么价值和思考?深入探究Crane

总体体验下来,Crane无愧之为开源的超强大云资源分析与成本优化平台,无疑是解决集群资源利用率问题的高效解决方案。而且Crane部署简便,无需很繁琐的部署过程,且有着强大的云资源监控能力,能够自动化资源调度和分配,且能够智能帮助用户优化资源使用和降低成本。尤其是配备许多可视化显示大屏,很够作为二次开发嵌套到其他大屏展示网页上。能够很直观的帮助开发运维人员找到闲置资源。更加自由的可拓展性,一些可自定义的API集成到Dashboard中,可加入大数据监控以及数据流监控等。

2023-05-12 14:21:45 1479 74

原创 一文速学数模-季节性时序预测SARIMA模型详解+Python实现

时序预测模型已经写了有八篇了,传统的时序预测模型基本差不多快讲完了。对于每个时序预测模型都有各自特点最优的使用场景,但是一般来说大部分时间序列数据都呈现出季节变化(Season)和循环波动(Cyclic)。对于在这些数据基础之上进行的建模一般最优是采用季节性时序预测SARIMA模型。当然此篇文章我将尽力让大家了解并熟悉SARIMA模型算法框架,保证能够理解通畅以及推演顺利的条件之下,尽量不使用过多的数学公式和专业理论知识。以一篇文章快速了解并实现该算法,以效率最高的方式熟练使用此方法。

2023-04-20 16:42:16 1723 48

原创 损失函数(Loss Function)一文详解-分类问题常见损失函数Python代码实现+计算原理解析

我们举一个通俗的例子:”假如你玩一个抽卡游戏,这段时间新活动刚好出了一个新的角色你想要抽到她,一般来说抽到这个角色基本都要保底,大部分人都需要一个648才能抽到,但是你的手气实在太非了,氪了两个648才抽到了,那么这和你预估的结果少了一个648的钱,也就是你大抵损失的金额。“通过上面这个例子我们再将大部分人预估抽到的金额设定为Y,而且实际用到的抽奖金额为Y',那么两者的差距|Y-Y'|就是损失函数了。

2023-04-17 14:38:25 947 46

原创 2023MathorcupC题电商物流网络包裹应急调运与结构优化问题建模详解+模型代码(一)

第三次继续写数模文章和思路代码了,不知道上次美赛和国赛大家有没有认识我,没关系今年只要有数模比赛艾特我私信我,要是我有时间我一定免费出文章代码好吧!博主参与过十余次数学建模大赛,三次美赛获得过二次M奖一次H奖,国赛二等奖。!!**大家可以参考。

2023-04-14 14:52:30 2356 55

原创 手把手教你搭建自己本地的ChatGLM

如果能够本地自己搭建一个ChatGPT的话,训练一个属于自己知识库体系的人工智能AI对话系统,那么能够高效的处理应对所属领域的专业知识,甚至加入职业思维的意识,训练出能够结合行业领域知识高效产出的AI。这必定是十分高效的生产力工具,且本地部署能够保护个人数据隐私,能够内网搭建办公使用也十分的方便。而对于ChatGLM来说最大的优点就是本地能快速部署且需要资源较比与ChatGPT相当低,还要什么自行车,够用就好。甚至能够在一些性能较高的服务器单点部署,INT4 量化级别下最低只需 6GB 显存。

2023-04-12 14:22:02 5364 26

原创 一文速学数模-最优化算法(二)梯度下降算法一文详解+Python代码

最近会不断更新深度学习系列文章(全实战性+可运行代码)加入到我的一文速学-数学建模常用模型中,现在建模比赛不用深度学习的知识和技能竞争力就比较落后了,况且我也任职人工智能开发工程师,对这一块的理论和实战都比较多。而且对于学习深度学习方面知识我也比较熟悉疑难点和重要知识点,故开此系列大家可以放心订阅,质量绝对有保证且内容易学易懂实践轻松,每个知识点都接有小段代码可供验证。博主专注建模四年,参与过大大小小数十来次数学建模,理解各类模型原理以及每种模型的建模流程和各类题目分析方法。

2023-04-11 16:45:38 693 24

原创 如何高效优雅的完成一次机器学习服务部署?一文详解部署难点以及实战案例

数据准备:从公共数据集中获取数据,并进行数据清洗和特征工程处理,将数据转化为适合机器学习算法处理的格式。创建SageMaker Notebook实例:通过AWS Management Console或AWS SDK创建SageMaker Notebook实例,并连接到实例。编写代码:在Notebook中编写代码,使用Amazon SageMaker提供的XGBoost算法和数据输入通道,加载并处理数据,训练并评估模型。模型调优:通过调整模型的参数和超参数,优化模型性能。

2023-04-07 09:28:04 20745 100

原创 一文速学数模-K-means聚类算法实战:信用卡用户画像聚类分析

该项目算是非常经典的金融业务用户画像的基础分析了,主要根据用户信用卡使用行为数据进行分析,根据收集到的不同字段信息,对每个用户划分类别。这里需要说明一下的是,聚类模型只是将具有相似行为的大部分用户聚集到一个类别里面,这点并不会考虑到每个字段的含义,也就是分成的类别并不是用户价值等级,此类别仅仅是这个类别大体相同的信用卡用户行为对象,并不能给每个用户价值打上标签,那是评价模型做的事,这里要注意不要搞混淆了,用户价值评价是评价模型决定的,而画像是聚类模型分析的。

2023-04-05 21:23:11 1664 44

原创 一文速学-XGBoost模型算法原理以及实现+Python项目实战

集成模型Boosting补完计划第三期了,之前我们已经详细描述了AdaBoost算法模型和GBDT原理以及实践。通过这两类算法就可以明白Boosting算法的核心思想以及基本的运行计算框架,余下几种Boosting算法都是在前者的算法之上改良得到,尤其是以GBDT算法为基础改进衍生出的三种Boosting算法:XGBoost、LightGBM、CatBoost。大家应该都对XGBoost算法模型熟悉但是对GBDT模型一无所知,看过之前GBDT的读者应该对GBDT模型有了一个很清楚的认知,对于理解XGBoos

2023-04-03 17:58:01 1256 60

原创 探索图文处理的未来:知名学府与合合信息团队分享NLP实践经验,人工智能引领技术革新

根据众位学术技术大咖的分享来看,未来图文智能处理的发展将会更加智能化、自动化和可定制化。具体来说,未来的图文智能处理技术将会更加注重生成式人工智能技术的应用,例如深度学习、自然语言处理、计算机视觉等。这将使得处理效果更加准确和高效。同时,未来的图文智能处理技术将会更加自动化,例如自动识别文档类型、自动分类文档、自动提取文档信息等,这将进一步提高文档处理的效率和准确性。此外,未来的图文智能处理技术也将会更加可定制化,根据不同的行业和应用场景,为客户提供量身定制的解决方案。

2023-03-27 11:37:41 1371 92

原创 一文速学-GBDT模型算法原理以及实现+Python项目实战

上篇文章内容已经将Adaboost模型算法原理以及实现详细讲述实践了一遍,但是只是将了Adaboost模型分类功能,还有回归模型没有展示,下一篇我将展示如何使用Adaboost模型进行回归算法训练。首先还是先回到梯度提升决策树GBDT算法模型上面来,GBDT模型衍生的模型在其他论文研究以及数学建模比赛中十分常见,例如XGBoost,LighGBM,catboost。算法差异点GBDTXGBoostLightGBMCatBoost弱学习器CART回归树1.CART回归树2.线性学习器。

2023-03-07 17:22:16 1792 56

原创 Python常用标准库-os库一文详解(二):文件操作和路径操作

Python的os(Operating System)库是一个用于与操作系统进行交互的标准库,它提供了许多有用的函数和变量,用于访问文件系统、环境变量、进程、管道、用户和组等操作系统相关的功能。这里我为大家总结了所有OS库里面的各类功能常用函数:有这张思维导图基本就够了,基本涵盖所有涉及到的Python基础系统路径操作功能函数了。当然还有很多关于这些函数细节的,需要辅以实际代码展示例子,以更直观的看到每个函数该如何使用和操作。

2023-03-03 11:06:58 703 25

原创 Python常用标准库-os库一文详解(一):目录操作

Python的os(Operating System)库是一个用于与操作系统进行交互的标准库,它提供了许多有用的函数和变量,用于访问文件系统、环境变量、进程、管道、用户和组等操作系统相关的功能。这里我为大家总结了所有OS库里面的各类功能常用函数:有这张思维导图基本就够了,基本涵盖所有涉及到的Python基础系统路径操作功能函数了。当然还有很多关于这些函数细节的,需要辅以实际代码展示例子,以更直观的看到每个函数该如何使用和操作。

2023-03-02 10:44:08 440 10

原创 Python常用标准库-sys库一文详解

补全一下Python的基础库功能篇,之前一直写pandas和机器学习模型,偶尔换个口味写写基础的。下一作专栏估计会将文本挖掘技术和爬虫技术结合起来出一期,敬请期待。Python 标准库非常庞大,所提供的组件涉及范围十分广泛,正如以下内容目录所显示的。这个库包含了多个内置模块 (以 C 编写),Python 程序员必须依靠它们来实现系统级功能,例如文件 I/O,此外还有大量以 Python 编写的模块,提供了日常编程中许多问题的标准解决方案。

2023-02-28 16:07:54 1046 21

原创 一文速学-Pandas查询索引操作详解+实例代码展示

关于一文速学Pandas系列已经将基础部分内容更完,基础部分的内容完全可以满足大部分数据分析应用场景且绝对够用。对于分析工具最快速上手的方法还是创造条件去实际运用它,反复运用直至能够熟练想到该使用何种方法去实现该功能需求。Pandas数据分析系列专栏已经更新了很久了,基本覆盖到使用pandas处理日常业务以及常规的数据分析方方面面的问题。

2023-02-24 18:03:10 738 27

原创 一文速学-Adaboost模型算法原理以及实现+Python项目实战

集成学习的方法在全球各大机器学习、数据挖掘竞赛中使用的非常广泛,其概念和思想也是风靡学术界和工业界,我的期刊论文以及毕业百优论文也是用到了集成学习算法。而Adaboost作为最早开始流行的集成算法,必然包含boosting最核心的思想。作为一种元算法框架,Boosting几乎可以应用于所有目前流行的机器学习算法以进一步加强原算法的预测精度,应用十分广泛,产生了极大的影响。而AdaBoost正是其中最成功的代表,被评为数据挖掘十大算法之一。

2023-02-23 16:57:46 2618 31

原创 一文速学数模-集成预测模型Boost(提升方法)原理以及框架+模型速览

博主参与过大大小小数十来次数学建模,且也是从事数据分析师这一职业,理解各类模型原理以及每种模型的建模流程和各类题目分析方法。此专栏的目的就是为了让零基础快速使用各类数学模型以及代码,每一篇文章都包含实战项目以及可运行代码,博主紧跟各类数模比赛,每场数模竞赛博主都会将最新的思路和代码写进此专栏以及详细思路和完全代码,打造最实用优质数学建模专栏。专栏模型基本包含所有的预测、分类、聚类、评价、动态规划以及图论算法模型,希望有学习需求的小伙伴不要错过。

2023-02-22 14:48:37 907 53

原创 2023年美国大学生数学建模A题:受干旱影响的植物群落建模详解+模型代码(二)

资源放CSDN上面过不了审核,都快结束了都没过审真的麻了,订阅专栏的同学直接加我微信直接发你。我只打造优质专栏。专注建模四年,博主参与过大大小小数十来次数学建模,理解各类模型原理以及每种模型的建模流程和各类题目分析方法。此专栏的目的就是为了让零基础快速使用各类数学模型以及代码,每一篇文章都包含实战项目以及可运行代码。博主紧跟各类数模比赛,每场数模竞赛博主都会将最新的思路和代码写进此专栏以及详细思路和完全代码。此篇文章包含对收集到的数据处理方法和建模代码。

2023-02-20 17:43:58 1078 8

原创 2023年美国大学生数学建模C题:预测Wordle结果建模详解+模型代码(一)

美赛补全计划第二篇了属实是,正好今天是周五下班晚上通宵研究美滋滋,想当年上一次参加美赛的时候还有两个学妹在给我加油打劲,现在已经孤身一人社畜995,时光一去不复返啊。(要是有学妹给我评论加油,我直接状态拉满哈哈)还是老样子,思路和模型代码都是免费的,纯爱好。博主参与过十余次数学建模大赛,三次美赛获得过二次M奖一次H奖,国赛二等奖。建模的部分后续将会写出,!!!大家可以参考。

2023-02-18 15:43:33 4325 28

原创 2023年美国大学生数学建模A题:受干旱影响的植物群落建模详解+模型代码(一)

千呼万唤始出来啊同学们,不知道各位在上次国赛建模的时候有没有认识我啊哈哈,还是老样子,思路和模型代码都是免费的,纯爱好。作为一个已经退休的数模老学长岂有不参与一下的理由!让俺再感受一下青春竞赛的氛围,博主参与过十余次数学建模大赛,三次美赛获得过二次M奖一次H奖,国赛二等奖。建模的部分后续将会写出,想要了解更多的欢迎联系博主,免费获取代码和更多细化思路,!!大家可以参考。

2023-02-17 15:52:40 4669 75

原创 Pandas数据分析实战(一):实现指数平滑法时序数据预测分析

关于一文速学Pandas系列已经将基础部分内容更完,基础部分的内容完全可以满足大部分数据分析应用场景且绝对够用。对于分析工具最快速上手的方法还是创造条件去实际运用它,反复运用直至能够熟练想到该使用何种方法去实现该功能需求。现在就是Pandas系列专栏的重头戏,通过实例去完成对Pandas的一系列运用。该实战内容包含了对各类数据的处理以及日常业务需求的分析,包含众多大厂面试笔试考察的项目以及实际工作时常遇到的场景项目。

2023-02-15 15:54:19 1350 31

原创 PySpark数据分析基础:核心数据集RDD常用函数操作一文详解(四)

写关于RDD的操作比我想象中的要多很多,不愧是支持整个大数据计算的核心数据集,相当于Pandas的DataFrame了,而且后续的PySpark的DataFrame很多还是需要转为RDD来实现其中的一些接口功能。关于PySpark的Pandas如何实现分布式计算的过程博主还是没有搞清楚故此内容回等我研究透了再写,而使用RDD去进行分布式计算的话,不论是Spark2或者3都可以实现,而且灵活,是大数据分析师必备的能力。

2023-02-13 20:07:44 341 32

原创 PySpark数据分析基础:核心数据集RDD常用函数操作一文详解(三)

RDD作为分布式计算弹性数据集在PySpark占有十分重要的地位,因此学会如何操作RDD的pyspark的接口函数显得十分重要,PySpark系列的专栏文章目前的话应该只会比Pandas更多不会更少,可以用PySpark实现的功能太多了,基本上Spark能实现的PySpark都能实现,而且能够实现兼容python其他库,这就给了PySpark极大的使用空间,能够结合大数据集群实现更高效更精确的大数据处理或者预测。如果能够将这些工具都使用的相当熟练的话,那必定是一名优秀的大数据工程师。

2023-02-09 11:20:01 688 23

原创 一文速学(二十四)-数据分析之Pandas数据展示选项设置详解+实例代码操作展示

Pandas选项一般在数据展示和分析使用的比较频繁,尤其是配合上Jupyter Notebook使用敏捷开发时进行数据展示时,总会遇到一两个展示的问题比较头疼。而这又会牵扯到很多可视化效果的问题(比如pandas表默认科学计数法,无法展示全部数据等)。故了解Pandas选项设置是有必要的,这篇文章我会将一些pandas常用的选项设置元素一一列出其作用以及代码修改效果,另外会列出pandas部门优化选项设置,帮助更好的使用pandas。

2023-02-06 18:30:19 645 27

原创 Numpy数据分析:高级索引和索引技巧一文详解

作为数据分析三巨头Pandas、matplotlib、NumPy之一,必然要给足面子单独拿出来讲解一波。NumPy应用场景十分宽泛,Pandas很多函数转换后也都是NumPy数组类型的数据结构。在机器学习、深度学习以及一些数据处理操作中使用的频率甚至比Pandas都高。而且NumPy功能强大,使用起来也十分便捷,支持多种复杂操作。平时我的Pandas以及一些机器学习的文章都有用到NumPy,但是博客内容并没有详细解答NumPy的操作也没有记录有关NumPy操作的一些具体函数解答。

2023-02-05 21:45:36 555 19

原创 PySpark数据分析基础:核心数据类Row和Column原理及常用操作一文详解

如果之前不接触python的pandas我觉得上手pyspark会更快,原因在于pandas的dataframe操作API实在是好用,功能代码使用简便而且容易理解,相对于pyspark中的sql.dataframe就显得十分出色了。sql.dataframe数据类型的底层构造是完全和python中pandas完全不同的,而是强关联与spark的dataframe,二者有本质的区别,当然函数功能操作也是有很大的不同。

2023-02-03 16:41:45 911 17

原创 PySpark数据分析基础:核心数据集RDD常用函数操作一文详解(二)

PySpark系列的专栏文章目前的话应该只会比Pandas更多不会更少,可以用PySpark实现的功能太多了,基本上Spark能实现的PySpark都能实现,而且能够实现兼容python其他库,这就给了PySpark极大的使用空间,能够结合大数据集群实现更高效更精确的大数据处理或者预测。如果能够将这些工具都使用的相当熟练的话,那必定是一名优秀的大数据工程师。故2023年这一年的整体学习重心都会集中在这门技术上,当然Pandas以及Numpy的专栏都会更新。

2023-02-02 14:15:45 434 32

原创 PySpark数据分析基础:核心数据集RDD原理以及操作一文详解(一)

要进行大数据分析是离不开Spark的,不然怎么说是大数据呢,数据量不达到几个TB也好意思叫大数据(哈...),之前一直使用的Pandas做一些少量数据的分析处理的,发现最近要玩的数据量实在过于巨大了,不得不搬上我们的spark用集群去跑了。但是用Scala总感觉很别扭,主要是已经好久没写scala代码了,连IDEA的环境都没给配,搞起来有点麻烦。虽然建议要是写spark数据分析还是使用原生的scala要好点,但是使用python的效率确实是高,并且可以兼容他的其他环境,这是最舒服的。

2023-01-31 14:13:45 744 24

原创 一文速学数模-时序预测模型(一)灰色预测一文详解+Python实例代码

博主参与过大大小小十次数学建模比赛,也获得了不少建模奖项。对于一些小批量样本数据去做预测或者是评估其规律性的话,比较适合的模型一般都是选择灰色预测模型。该模型解释性强而且易于理解,建模手段也比较简单。在一些不确定是否存在相关标量或者是存在位置特征的时候,用灰色预测模型尤为明显,牵扯太多变量时候可以以量曾量减的方式显现其变化规律,是建模比较好用的算法和思路。但是首先我们要明白该模型的使用场景以及优缺点才能更好的解释建模的效果。故为接下来的美赛,我将把一些常用建模的模型和代码补上。

2023-01-30 14:33:46 1182 49

原创 PySpark任务提交spark-submit参数设置一文详解

之前我们已经进行了pyspark环境的搭建以及经过jupyter notebook进行过开发以及实现了一系列的函数功能.但是一般我们跑spark都是在集群上面跑,只有测试一般在本地上测试,而且每个公司配置的spark集群的端口和设置的参数都有很大出入,故每种情况都有可能发生。所以一般任务提交的参数最好都需要能够清楚的明白对应功能。很多spark任务都会吃大量的内存以及队列资源,合理的安排spark资源十分重要,这些都需要我们在spark-submit指令上面配置。

2023-01-12 16:35:28 2069 31

原创 一文数学数模-相关性分析(一)肯德尔相关性分析一文详解+python实例代码

Kendall(肯德尔)系数的定义:n个同类的统计对象按特定属性排序,其他属性通常是乱序的。同序对()和异序对()之差与总对数(n*(n-1)/2)的比值定义为Kendall(肯德尔)系数。与斯皮尔曼秩相关相似的是,肯德尔相关也是一种秩相关系数,是基于数据对象的秩(rank)来进行两个(随机变量)之间的相关关系(强弱和方向)的评估。所分析的目标对象应该是一种有序的类别变量,比如名次、年龄段、肥胖等级(重度肥胖,中度肥胖、轻度肥胖、不肥胖)等。

2023-01-10 15:17:40 657 23

原创 一文数学数模-相关性分析(二)斯皮尔曼相关(spearman)相关性分析一文详解+python实例代码

经常用希腊字母ρ表示。它是衡量两个变量的依赖性的非参数指标。它利用单调方程评价两个统计变量的相关性。如果数据中没有重复值, 并且当两个变量完全单调相关时,斯皮尔曼相关系数则为+1或−1。斯皮尔曼相关系数被定义成等级变量之间的皮尔逊相关系数。对于样本容量为n的样本,n个原始数据被转换成等级数据,相关系数ρ为:在实际应用或是具体题目中,变量间的连结是无关紧要的,将观测的两个变量的对应元素相减得到一个差值,则还可以将上述公式转化为:其中,为和之间的等级差。

2023-01-09 11:31:29 3989 28

原创 一文数学数模-相关性分析(三)皮尔逊相关性分析一文详解+python实例代码

相关性分析算是很多算法以及建模的基础知识之一了,十分经典。关于许多特征关联关系以及相关趋势都可以利用相关性分析计算表达。其中常见的相关性系数就有三种:person相关系数,spearman相关系数,Kendall's tau-b等级相关系数。各有各自的用法和使用场景。当然关于这以上三种相关系数的计算算法和原理+代码我都会在我专栏里面写齐全。目前关于数学建模的专栏已经将传统的机器学习预测算法、维度算法、时序预测算法和权重算法写的七七八八了,有这个需求兴趣的同学可以去看看。

2023-01-05 14:15:35 2026 6

原创 sklearn预测评估指标计算详解:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1score

很多时候需要对自己模型进行性能评估,对于一些理论上面的知识我想基本不用说明太多,关于校验模型准确度的指标主要有混淆矩阵、准确率、精确率、召回率、F1 score。机器学习:性能度量篇-Python利用鸢尾花数据绘制ROC和AUC曲线机器学习:性能度量篇-Python利用鸢尾花数据绘制P-R曲线sklearn预测评估指标:混淆矩阵计算详解-附Python计算代码这里我们主要进行实践利用sklearn快速实现模型数据校验,完成基础指标计算。

2023-01-03 11:11:07 3748 20

原创 sklearn预测评估指标:混淆矩阵计算详解-附Python计算代码

很多时候需要对自己模型进行性能评估,对于一些理论上面的知识我想基本不用说明太多,关于校验模型准确度的指标主要有混淆矩阵、准确率、精确率、召回率、F1 score。机器学习:性能度量篇-Python利用鸢尾花数据绘制ROC和AUC曲线机器学习:性能度量篇-Python利用鸢尾花数据绘制P-R曲线这里我们主要进行实践利用sklearn快速实现模型数据校验,完成基础指标计算。

2022-12-30 15:39:14 2931 11

原创 一文速学(二十三)-数据分析之Pandas处理时间序列数据-时间/日期操作详解

一文速学-Pandas中DataFrame转换为时间格式数据与处理一文速学-Pandas处理时间序列数据操作详解日常处理一些数据和业务上需求,其实还是十分常用到时序数据的,一些处理方法我感觉都是比较麻烦的,还存在很多方法没有详细说明。于是基于两篇内容之上,再对Pandas的处理时间数据进行深入功能挖掘,一些很好用的方法和处理这两篇文章还是没有覆盖到的。作为查漏补缺这个系列的文章将会把pandas处理时间序列数据的内容都给将完全。

2022-12-29 16:05:51 464 1

原创 Pandas常用I/O函数(七):to_csv()函数及全部参数使用方法一文详解+实例代码

Pandas常用作数据分析工具库以及利用其自带的DataFrame数据类型做一些灵活的数据转换、计算、运算等复杂操作,但都是建立在我们获取数据源的数据之后。因此作为读取数据源信息的接口函数必然拥有其强大且方便的能力,在读取不同类源或是不同类数据时都有其对应的read函数可进行先一步处理,这会减少我们相当大的一部分数据处理操作。

2022-12-27 17:40:35 1998 15

原创 (包含源代码)2022年全国大学生数学建模竞赛E题目-小批量物料生产安排详解+思路+Python代码时序预测模型-补完

在确定各项评价指标权重的算法中,熵权法在很多评价法作为计算指标权重的一只核心基础算法,如秩和比综合评价法RSR或是优劣解距离法TOPSIS。易于理解的话来讲,熵权法就是看该指标数据是否相对集中或是相对离散,要是基本上都差不多的数据,那么这些数据熵就很小,比较集中。说明在这个指标上面体现不出样本的差异性,导致这个指标并不是那么重要。所以该指标权重就小,相反数据差距很大,权重就大。

2022-12-26 15:35:41 974 17

原创 AI作画的背后是怎么一步步实现的?一文详解AI作画算法原理+性能评测

AI作画依赖于多模态预训练,实际上各类作画AI模型早已存在,之所以近期作品质量提升很多,可能是因为以前预训练没有受到重视,还达不到媲美人类的程度,但随着数据量、训练量的增多,最终达到了现在呈现的效果。”远在AI作画还没有爆火之前,深度学习就已经可以根据图片库训练学习生成一些真假难辨的图片了,那时候仅仅依赖的是GAN神经对抗网络算法实现,现在随着模型的迭代优化,已经有了越来越多的模型能够实现一些较为复杂的图片生成。

2022-12-19 18:13:23 11227 24

cchardet-2.7.1-cpy310

在https://www.lfd.uci.edu/~gohlke/pythonlibs/#cchardet上面没有看到支持python3.10版本的,但是在github上面人家发版了,先传自用,有需要可以下载。cchardet是chardet的升级版,功能和chardet完全一样(requests依赖包采用的就是chardet),用来检测一个字节数组的编码。由于是用C和C++实现的,所以它的速度非常快,非常适合在爬虫中用来判断网页的编码。

2023-04-13

jython-installer-2.7.3.jar

交互式实验-Jython提供了一个交互式解释器,可用于与Java包或运行的Java应用程序交互。这允许程序员使用Jython来实验和调试任何Java系统。 快速应用程序开发——Python程序通常比等效Java程序短2-10倍。这直接转化为程序员生产力的提高。Python和Java之间的无缝交互允许开发人员在开发过程中和产品交付过程中自由地混合这两种语言。

2022-10-26

已编译版本solr-8.11.2.tgz

Solr 8.11.2是8.x系列的最后一个版本,新版本已经是9.0版本了。 1,什么是solr? Solr是一个独立的企业级搜索应用服务器,他对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务提供一定格式的xml文件,生成索引;也可以通过http get 操作提供查找请求,并得到xml格式的返回结果 2.,solr特点 Solr是一个高性能,采用java语言,基于Lucene开发的全文搜索服务器。并对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置,可扩展并对查询性能进行了优化,提供了一个完善的功能管理页面,是一款非常优秀的全文搜索引擎。 3,solr工作方式 文档通过http利用xml加到一个搜索集合中。solr查询该集合也是通过http收到一个xml/json响应来实现。他的主要特性包括:高效,灵活的缓存功能,垂直搜索功能,高亮下试搜索结果,通过索引复制来提高可用性,提供一套强大的data schema 来定义字段,类型和设置文本分析,提供基于web的管理界面等。

2022-08-26

apache-maven-3.8.6-bin+安装教程

远程仓库分类 分类 本地仓库 maven本地仓库的默认位置:无论是Windows还是Linux,在用户的目录下都有一个.m2/repository/的仓库目录,这就是Maven仓库的默认位置,变更maven默认的本地仓库的位置可更改存在于maven的settings.xml文件中localRepository的标签中的地址 远程仓库 中央仓库 maven官方的远程库,中央仓库包含了绝大多数流行的开源Java构件,以及源码、作者信息、SCM、信息、许可证信息等。一般来说,简单的Java项目依赖的构件都可以在这里下载得到 私服 私服是一种特殊的远程仓库,它是架设在局域网内的仓库服务,私服代理广域网上的远程仓库,供局域网内的Maven用户使用。当Maven需要下载构件的时候,它从私服请求,如果私服上不存在该构件,则从外部的远程仓库下载,缓存在私服上之后,再为Maven的下载请求提供服务。我们还可以把一些无法从外部仓库下载到的构件上传到私服上 其他公共库 mirror元素和rep

2022-08-24

hive3.1.0-antrl3.5.2-Hivegrammar源码.zip

Antlr是一种语言识别的工具,可以用来构造领域语言。 使用antlr需要我们提前定义好识别字符流的词法规则和用于解释Token流的语法分析规则。然后,antlr会根据我们提供的语法文件自动生成相应的词法/语法分析器。hive借助Antlr定义SQL的词法规则和语法规则,完成SQL词法,语法解析,将SQL转化为抽象语法树AST Tree。HiveSql后续的编译过程全都基于AST Tree,所以我们想要完整理解hive sql的编译过程,需要前置了解一下antlr是怎么工作的。 HiveLexer.g:词法解析文件,定义了所有用到的token。 HiveParser.g:语法解析文件,实现了所有的Hive语法解析。 FromClauseParser.g:FROM语句解析。 IdentifiersParser.g:自定义函数解析,标识符定义 函数名称、系统函数、关键字等。 nonReserved,非保留的关键字可以作为标识符的。比如 select a as date from mytable 这个date不添加转义会报错的,但是该处如果添加 “ | KW_DATE ” dat

2022-08-23

Dependency Walker2.2

Dependency Walker 之前一直用Dependency Walker看DLL导出接口,今天总结一下 Dependency Walker 使用说明。如果你想学习如何使用Dependency Walker, 可以仔细阅读这篇文章,了解一下Dependency Walker对你以后调试DLL有所帮助。 1.什么是DLL? 在Windows世界中,有无数块活动的大陆,它们都有一个共同的名字——动态链接库。现在就让我们走进这些神奇的活动大陆,找出它们隐藏已久的秘密吧! 初窥门径:Windows的基石 随便打开一个系统目录,一眼望去就能看到很多扩展名DLL的文件,这些就是经常说的“动态链接库”,DLL是Dynamic Link Library(即“动态链接库”)的缩写。从Microsoft公司推出首个版本的Windows以来,动态链接库就一直是这个操作系统的基础。 2.DLL有什么? 与其用晦涩的专业术语来解决DLL是什么,不如先来看看DLL里有什么。DLL和EXE文件一样,其中包含的也是程序的二进制执行代码和程序所需的资源(比如图标、对话框、字符串等),可是为什么要把代码放在D

2022-08-23

pyjnius-1.4.2-cp37-cp37m-win32.whl

PyJNIus 是一个神奇的 Python 第三方模块。它能使用Java本地接口将Java类作为Python类访问的Python模块。 如果你需要在Python中使用Java 类,这个第三方模块是你最好的选择。 1.准备 开始之前,你要确保Python和pip已经成功安装在电脑上 请选择以下任一种方式输入命令安装依赖: 1. Windows 环境 打开 Cmd (开始-运行-CMD)。 2. MacOS 环境 打开 Terminal (command+空格输入Terminal)。 3. 如果你用的是 VSCode编辑器 或 Pycharm,可以直接使用界面下方的Terminal. pip install pyjnius 2.快速开始 使用Jnius导入Java类特别简单,你只需要引入 autoclass 并引用你所需要的类即可: >>> from jnius import autoclass >>> autoclass('java.lang.System').out.println('Hello world') Hello world

2022-08-23

pyjnius-1.4.2-pp37-pypy37_pp73-win_amd64.whl

PyJNIus 是一个神奇的 Python 第三方模块。它能使用Java本地接口将Java类作为Python类访问的Python模块。 如果你需要在Python中使用Java 类,这个第三方模块是你最好的选择。适用场景:极个别的加密算法等内容,用python不方便实现或者实现较耗时,可基于Pyjnius把java类当做python库使用。如果出现ImportError,一般是java环境变量或者path没有配置好。先安装Java JDK 和JRE、Cython注意:jnius安装的坑比较多,请参考http://stackoverflow.com/search?q=jnius 如果出现ImportError,一般是java环境变量或者path没有配置好。 jnius/jnius.c:4:20: fatal error: Python.h 一般为缺python-dev, yum -y install python-devel pip 安装不成功可以尝试 setup.py方式。

2022-08-23

antlr-repackaged-4.0.jar

antlr是指可以根据输入自动生成语法树并可视化的显示出来的开源语法分析器。ANTLR—Another Tool for Language Recognition,其前身是PCCTS,它为包括Java,C++,C#在内的语言提供了一个通过语法描述来自动构造自定义语言的识别器(recognizer),编译器(parser)和解释器(translator)的框架。 antlr有 v2 v3 v4多个版本并存,中文文档多数是v2的, hive 1.1.0版本在注释中提到了antlr 3.4。ANTLR将上述结合起来,它允许我们定义识别字符流的词法规则和用于解释Token流的语法分析规则。然后,ANTLR将根据用户提供的语法文件自动生成相应的词法/语法分析器。用户可以利用他们将输入的文本进行编译,并转换成其他形式(如AST—Abstract Syntax Tree,抽象的语法树)。

2022-08-23

antlrworks-1.5.1.jar

Antlr是一种语言识别的工具,可以用来构造领域语言。 使用antlr需要我们提前定义好识别字符流的词法规则和用于解释Token流的语法分析规则。然后,antlr会根据我们提供的语法文件自动生成相应的词法/语法分析器。hive借助Antlr定义SQL的词法规则和语法规则,完成SQL词法,语法解析,将SQL转化为抽象语法树AST Tree。HiveSql后续的编译过程全都基于AST Tree,所以我们想要完整理解hive sql的编译过程,需要前置了解一下antlr是怎么工作的。通过ANTLRWorks可以更加直观的理解解析过程。 对ANTLR的支持——源代码图。编辑ANTLR语法文件时,“语法图”窗口显示当前规则的直观表示。此功能提供语法元素的自然表示,并且是提供自定义功能以增强特定语言的特征的示例。另外,双击源代码图中的元素将立即跳转到相关的源代码。antlrworks:专门用于开发antlr的ide,(不同版本的antlrworks)其内部集成了某个版本的antlr。 换句话说,你即使下载了antlr-x.x-complete.jar,将其添加到了CLASSPATH中,其也和an

2022-08-22

antlr-3.4.jar

antlr是指可以根据输入自动生成语法树并可视化的显示出来的开源语法分析器。ANTLR—Another Tool for Language Recognition,其前身是PCCTS,它为包括Java,C++,C#在内的语言提供了一个通过语法描述来自动构造自定义语言的识别器(recognizer),编译器(parser)和解释器(translator)的框架。 antlr有 v2 v3 v4多个版本并存,中文文档多数是v2的, hive 1.1.0版本在注释中提到了antlr 3.4。ANTLR将上述结合起来,它允许我们定义识别字符流的词法规则和用于解释Token流的语法分析规则。然后,ANTLR将根据用户提供的语法文件自动生成相应的词法/语法分析器。用户可以利用他们将输入的文本进行编译,并转换成其他形式(如AST—Abstract Syntax Tree,抽象的语法树)。

2022-08-22

hadoop3.3.3-winutils

Scala项目中的winutils.exe详解 作用: 模拟linux环境 意义: hadoop基于linux开发和布署运行,故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录下的/bin目录下 如果是eclipse开发,就配置到项目根目录下/bin/下即可 在Hadoop1.x 时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。 在Hadoop2.x时代,增加了Yarn。Yarn只负责资源的调度,MapReduce 只负责运算。 Hadoop3.x在组成上没有变化Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。 (1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。 (2)DataNode(dn):在本地文件系统存储文件块数据,以及块

2022-07-19

scrt-sfx-9.0.0.2430+使用教程

内带使用教程你懂得! SecureCRT 9.1是一款专业强大的SSH远程终端服务软件,该软件在所以平台上都支持SSH2,SSH1,Telnet,串行和Raw。从多种仿真中选择大多数采用ANSI颜色。具有多会话选项样式或者平铺式界面,具有大范围的会话管理以及自定义功能。使用时用户可以创建在指定会话的基础上使用各个配置。并且这款软件整体界面简洁,操作方便易用,支持可视化界面,将本地主机和远程主机的目录结构以树形结构的方式显示出来,文件的传输可以直接手动拖动而无需使用命令。 同时,SecureCRT 9.1版本进行了全方面的新增和优化,支持在会话管理器过滤器框中使用通配符,优化搜索以显示您感兴趣的确切会话,最大程度地减少错误,还提供了新的自定义选项,新增了对Python 3的支持,对选定文本进行Google搜索的功能以及对多行粘贴确认的增强等等,致力于为组织中的每个人提供安全的远程访问、文件传输和数据隧道。添加了Windows、macOS和Linux支持本地Shell;新增书签管理器,使您可以更轻松地添加,删除书签,以及从其他会话中复制书签,提高用户工作效率。

2022-06-13

机器学习之数据均衡算法种类大全+Python代码一文详解

以Imbalancd sklearn库收录的算法来看,过采样共有11种方法,欠采样共有8种方法,组合采样有2种方法。 1.欠采样算法: ClusterCentroids CondensedNearestNeighbour EditedNearestNeighbours RepeatedEditedNearestNeighbours AlIKNN InstanceHardnessThreshold NearMiss NeighbourhoodCleaningRule OneSidedSelection RandomUnderSampler TomekLinks 2.过采样方法 RandomOverSampler SMOTE SMOTENC SMOTEN ADASYN BorderlineSMOTE KMeansSMOTE SVMSMOTE 3.组合采样 SMOTEENN SMOTETomek

2022-06-05

dbeaver+navicat

DBeaver 是一个基于 Java 开发,免费开源的通用数据库管理和开发工具,使用非常友好的 ASL 协议。可以通过官方网站或者 Github 进行下载。 由于 DBeaver 基于 Java 开发,可以运行在各种操作系统上,包括:Windows、Linux、macOS 等。DBeaver 采用 Eclipse 框架开发,支持插件扩展,并且提供了许多数据库管理工具:ER 图、数据导入/导出、数据库比较、模拟数据生成等。 DBeaver 通过 JDBC 连接到数据库,可以支持几乎所有的数据库产品,包括:MySQL、PostgreSQL、MariaDB、SQLite、Oracle、Db2、SQL Server、Sybase、MS Access、Teradata、Firebird、Derby 等等。商业版本更是可以支持各种 NoSQL 和大数据平台:MongoDB、InfluxDB、Apache Cassandra、Redis、Apache Hive 等。“Navicat”是一套可创建多个连接的数据库管理工具,用以方便管理 MySQL、Oracle、PostgreSQL、SQLite、

2022-05-30

sqldeveloper-21.4.3.x64+jdk1.8

Oracle SQL Developer是Oracle公司出品的一个免费的集成开发环境。是一个免费非开源的用以开发数据库应用程序的图形化工具,使用 SQL Developer 可以浏览数据库对象、运行 SQL 语句和脚本、编辑和调试 PL/SQL 语句。另外还可以创建执行和保存报表。该工具可以连接任何 Oracle 9.2.0.1 或者以上版本的 Oracle 数据库,支持 Windows、Linux 和 Mac OS X 系统。 Oracle SQL Developer是针对Oracle数据库的交互式开发环境(IDE)。 Oracle SQL Developer简化了Oracle数据库的开发和管理。 SQL Developer提供了PL/SQL程序的端到端开发,运行查询工作表的脚本,管理数据库的DBA控制台,报表接口,完整的数据建模的解决方案,并且能够支持将你的第三方数据库迁移至Oracle。 SQL Developer可以连接到任何Oracle 10g及其后续版本的数据库,并且能在 是连接Hive以及mysql常用的图形化工具之一,此安装包还自带jdk1.8.可以直接部署进行开发。

2022-05-26

熵权法实战代码,根据港口研发投入数据进行熵值法确定权重。

熵权法实战代码,根据港口研发投入数据进行熵值法确定权重。

2022-02-28

hadoop-common-2.6.0-bin-master.zip

设置本地为master而进行hadoop编程所必须文件

2021-04-07

操作系统调度算法.zip

操作系统作业调度算法C代码实现,进程入队与出队模拟,FCFS调度算法,时间片轮转调度算法

2021-03-04

机器学习实战Logistic回归举例数据

本资源是机器学习实战Logistic回归举例中的数据

2020-12-20

使用朴素贝叶斯过滤垃圾邮件数据集

数据集说明: 数据集下包含两个文件夹,其中spam文件夹下为垃圾邮件,ham文件夹下为非垃圾邮件。  数据集格式: txt文件

2020-12-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除