- 博客(28)
- 收藏
- 关注
原创 粒子群优化算法应用练习
参考文献:杨俊杰, 周建中, 吴玮, 等.改进粒子群优化算法在负荷经济分配中的应用[J].电网技术, 2005, 29(12): 1-4.负荷经济分配(Economic Dispatch,ED)问题是机组组合问题的一个子优化问题。ED 问题是指当给定某运行时段机组的开停机计划后,在满足各种约束的条件下在运行机组间分配负荷,使电力系统的总运行费用最小或发电公司的利润最大。
2024-01-09 15:58:07
1305
原创 文献阅读笔记(12.11-12.19)
对于粒子群等优化算法,将物理背景抽象为数学模型,我认为主要在两方面:(1)如何将研究对象抽象为粒子,怎样将粒子的属性和粒子所属空间用数学的方式去表达。(2)如何将现实约束抽象为目标函数,只有有明确的目标函数,才会有优化的目标,粒子才能按照这个目标去寻优。
2023-12-19 22:26:06
1546
原创 近期学习整理2(优化算法)
待优化的问题 → 抗原可行解 → B细胞(产生的抗体)可行解质量 → 免疫细胞与抗原的亲和度寻优过程 → 免疫系统识别抗原并进行算法主要包括以下模块:(1)初始化:抗原识别和初始抗原产生。对待优化的问题设计合适的编码规则,并产生初始抗体群体。(2)抗体评价与更新。评判抗体亲和度和个体浓度,对优质抗体进行进化,更新劣质抗体。评价算子 dendenabiN1j1∑NSabiabj式中,N为种群规模,S(abab) 表示Sa。
2023-12-09 23:57:04
71
原创 近期学习整理(优化算法)
群体中的每一个主体无智能,但是有,通过达成间接的合作,从而达到整体的目标。比较常见的是蚁群算法和粒子群算法。对于蚁群算法,共享信息为,每只蚂蚁在行走自己的路径时会分泌信息素,而所有的信息素的浓度分布反映了最短路径。对于粒子群算法,共享信息为每一个粒子的位置信息所公选出的,每个粒子会受到记忆(惯性)、自身经验(个体最优位置)和其他个体/群体的影响(群体最优位置)的共同作用,从而决定下一次的飞行(迭代),最终收敛于全局最优。二者的差别在于,蚁群算法是。
2023-12-02 23:42:07
90
原创 10.29学习-遗传算法
在代码中使用到了函数initializega,但是比较新的matlab版本删去了这个函数,所以从网上下载了initializega.m文件。随机产生N个初始串结构数据,每个串结构数据为一个个体,N个个体构成了一个群体。通过交叉,得到新一代个体,新个体组合了父辈个体的特性。交换它们之间的部分染色体,得到新一代个体,新一代个体组合了父辈个体的特征。在种群中随机选择个体,选中个体以低概率随机改变串结构数据中某个串的值。适应度表明个体或解的优劣性。(从表现型到基因型的映射),初代种群产生后,按照适者生存的原理,
2023-10-29 23:48:13
85
原创 10.27学习-粒子群优化概念学习
迭代经验:进化前期,w应该大一些,保证各个粒子独立飞行充分搜索空间,后期应该小一些,多向其他粒子学习;step4:同时计算新位置的适应度,若新位置的适应度更高,则将该粒子的位置进行更新,否则不更新;前期,c1应该大一些,后期,c2应该大一些,从而平衡粒子的全局搜索能力和局部搜索能力。注:①适应度:一般的,优化目标为找到极小值,故个体计算出的函数值越小,适应度越高。(2)引入其他机制,如速度、位置的边界变化,后期压缩最大速度,等。为该粒子自己所认为的最优目标点,第三项体现群落的判断,p。
2023-10-27 17:02:30
34
原创 10.25学习-计算学习理论2
在无限假设空间中,需选用其他方法度量假设空间的复杂性:(1)给定假设空间 H 和示例集 D = {x, x, …, x},H中每个假设h都能对D中的示例赋予标记,标记结果可表示为h∣D{(hx1hx2...hxm))}随着m的增大,H中所有的假设对D中的示例所能赋予标记的可能结果数也增大,例如对二分类问题,会产生2种可能结果。对于m个样本,假设空间 H 的增长函数为ΠHmmaxx1x2...xm∈X∣{(h。
2023-10-26 00:47:15
90
1
原创 2023.10.23学习-计算学习理论1
如何刻划“学习”的过程?D{(x1y1x2y2...xmym)}yi∈γ−11令h为到 γ 的一个映射,则泛化误差:分类器的期望误差Eh;DPx∼Dhxy经验误差:分类器在给定样例集上的平均误差Eh;Dm1i1∑mIhxiyiε为E(h)的上限,E(h) <= ε 即表示预先设定学得的模型应满足的误差要求。
2023-10-24 00:11:38
43
原创 10.22学习-稀疏学习
人们更倾向于将信息压缩,并以较低的频率恢复原信号,且采样后的信号经过传输、压缩等处理,可能会损失部分信息,如何基于不全面的信号恢复出全部信号?希望数据具有的稀疏性:将数据集D视为一个矩阵,每行对应于一个样本,每列对应于一个特征,矩阵的每一行(样本)具有大量的零元素,不同的样本零元素出现的列(特征)不相同。将目标信号变换到尽可能稀疏的稀疏变换域,即为信号的稀疏表示。虽然上述看起来仍是欠定的,但是若s具有稀疏性,便可以将问题解决,此时,需设计Ψ为稀疏基,A则类似于字典,可以将信号转化为稀疏表示。
2023-10-23 10:01:59
43
1
原创 2023.10.21学习-特征选择
基于不同样本得到的估计结果进行平均,就得到了属性 j 的最终统计量分量,分量值越大,说明该属性的分类能力越强(分量值大说明不同类别的数据分的很开,混杂在一起的少)。子集评价:使用交叉验证法估计学习器使用该数据子集 A‘ 时的误差,若比当前特征子集 A*上的误差更小,或误差相当但A’中包含的特征数更少,则将 A‘ 保留下来(A* = A’);:选择和模型评价(学习器的性能)有关,让所选择的数据集的特征尽可能最适合模型的特点。相关统计量反映了特征 j 对最终分类效果的影响,从几何的角度来思考,即所选样本 x。
2023-10-21 23:33:36
34
1
原创 2023.10.16学习-集成学习2
用随机森林算法获取数据各个特征的重要性(在树模型中,离根节点越远,重要性越低)实际上有现成的Api可以直接调用AdaBoost模型。以SVM分类器为例,用Adaboost进行集成。串联结构,每次调节样本权重,对模型不断更新。
2023-10-17 00:09:00
26
原创 2023.10.14学习-贝叶斯分类器2
朴素贝叶斯分类器是在已知数据的分类情况下,反推数据各维属性的条件概率从而预测新数据的分类,但是前提是属性之间相互独立,但在现实中这个假设往往很难成立。动手写了AODE的算法,编写的函数是输入测试数据,可以获取其为好瓜或坏瓜的概率,并得出结果是“好瓜”或“坏瓜”。借助有向无环图(DAG)来刻画属性之间的依赖关系,并使用条件概率表来描述属性联合概率分布。算法的基础上,将属性间的依赖关系整理成树形结果(关注强相关性属性)没有参考较多别人的代码,在写的过程中纠正了很多关于数据结构的知识。考虑属性的高阶依赖。
2023-10-15 00:01:27
53
1
原创 2023.10.12学习-贝叶斯分类器
基于分析实施决策先验概率(Prior Probability)后验概率(Posterior Probability):给定观测向量,某个特定类别的概率 P(y|贝叶斯定理PyxPy∣xPxPx∣yPypy∣xPxpx∣yPy∑ipx∣yipyipx∣yPy最大后验概率(MAP)希望最大后验概率的类别作为预测类别,即y∗argmaxiPyi∣x。
2023-10-13 00:02:35
36
原创 2023.10.11学习-支持向量机2
在应用于二分类的情况下,svc算法的目标是试图找到一个区分两类数据的平面,这个平面最好位于中间,这样的话分类的准确性较高,容许误差的能力较好,C越大,正则化越大,松弛因子越小,分类严格,越容易出现过拟合;对于同一问题,使用不同的核函数效果不同,也并不是所有的数据用高斯核函数最好。说明对于葡萄酒数据的分类,使用线性核函数的效果是最好的。代码:(因为数据量较小,C值取的非常小了才看出来区别)C值较小,容忍一些错误,间隔大,防止过拟合。C值较大,分类严格,间隔小,可能过拟合。(升维,数据由少变多),参数。
2023-10-12 00:01:24
35
1
原创 2023.10.10学习-支持向量机
数据集:(x1, y1),(x2, y2), …当低维的数据较为复杂,可以将其映射到高维空间中。(距离决策方程最近的点),其他点的α值均为0。:使距离决策方程最近的点,达到距离最大,即。当C较大时,意味着分类严格,难以容忍错误。该式计算较为麻烦,所以考虑如何简化。当C较小时,意味着存在错误容忍。代入L(w, b, α),则。需要一种变换的方法φ(x)监督学习,解决二分类问题。求解方法:拉格朗日乘子法。为了防止噪声干扰,引入。
2023-10-11 00:23:13
47
原创 2023.10.9学习-迁移学习
以已经训练好的模型A为起点,在新场景中,根据新数据建立模型B目的:将某个领域或任务上学习到的知识或模式,应用到不同但相关的领域或问题中模型A存储了模型结构、权重系数;模型B基于新数据,实现了对模型A的部分结构或权重系数的更新(1)特征提取使用模型A,移除输出层,提取目标特征信息。在任务相似度高、新数据少的情况下使用,保留原模型的大部分结构和权重系数。(2)结构引用使用模型A的结构,重新或二次训练权重系数参数。在任务相似度高、新数据多的情况下使用,可基于原有结构重新训练(3)部分训练。
2023-10-09 23:44:33
113
1
原创 2023.10.8学习-循环神经网络
预测数据,找了另外一个数据集做预测测试,第一次运行程序的结果是预测曲线趋势与实际相同但数值偏低,之后再运行就拟合得非常好。普通RNN结构的缺陷:前部序列信息传递到后部, 信息权重下降,导致重要信息丢失。:把单层RNN叠起来或在输出前和普通mlp结构结合使用,解决更复杂的问题。记忆细胞重点记录前部序列的重要信息,且在传递过程中信息丢失较少。(1)多输入多输出。(3)单输入多输出。(4)多输入多输出,输入与输出维度不同。传递前部信息,距离越远,信息丢失越多。(2)多输入单输出。输出门:筛选需要输出哪些信息。
2023-10-09 00:07:48
69
1
原创 2023.10.7学习-卷积神经网络
特点:(1)所有卷积层filter宽和高都是3,步长为1,padding都使用same convolution; 在图像边缘增加像素(通过padding增加像素点数量,由过滤器尺寸与滑动窗口stride决定),使其在进行卷积运算后维持原图大小。 选取尺寸为(k, k)的filter(也称卷积核kernel)其参数可学习,在图像上所有区域滑动,进行卷积运算。特点:(1)适用于识别较复杂的彩色图,可识别1000种类别;特点:(1)随着网络越深,图像的高度和宽度在缩小,通道数(filter)在增加;
2023-10-08 00:29:12
41
1
原创 2023.10.6学习
评价分类结果:一般。改进措施:增加迭代次数;改善data_train和data_test的数据集的分配。认为X(x1、x2、x3…)与y之间存在(a1、a2、a3…尝试建立一个模型,其结构模仿人的思考机制。MLP实现非线性分类预测。MPL实现多分类预测。
2023-10-07 00:15:00
44
1
原创 2023.10.5学习
在之前讲到的传统流程(数据载入 → 数据可视化与预处理 → 创建模型 → 模型训练 → 模型评估)中,计算模型对于测试数据集的准确率来评估模型表现,但是这种方式的局限性在于,无法真实反映模型针对。准确率可以方便地用于衡量模型的整体预测效果,但(1)无法体现数据预测的实际分布情况;通过引入正则化项(含λ项),λ取值大的情况下,因为要使损失函数尽量小,故可以约束θ取值,从而控制模型系数取值。测试数据集准确率,在模型过于简单或过于复杂的情况时下降(欠拟合-合理-过拟合-欠拟合)剔除异常数据(异常检测)
2023-10-05 23:45:00
23
原创 2023.10.4学习
一种对实例进行的,通过区分目标所属类别。本质:通过,从训练数据集中归纳出一组。优点:计算量小,运算速度快;易于理解,可清晰查看各属性的重要性。缺点:忽略属性间的相关性;样本类别分布不均匀时,容易影响模型表现。决策树求解:假设给定训练数据集D{(x1y1x2y2...xNyN)}其中,x为输入实例,y为,N为样本容量。求解目标:根据训练数据集构建一个,使它能够对实例进行正确的。。在每一个节点,应该哪个特征。、C4.5、CART。
2023-10-04 23:48:14
44
1
原创 2023.10.3学习
无监督学习机器学习的一种方法,给定事先标记过的训练示例,对输入的数据进行。(寻找数据的共同点,结果没有对错之分)优点:算法不受监督信息的约束;不需要标签数据,数据样本大。、关联规则、维度缩减。
2023-10-03 23:45:00
31
原创 2023.10.2学习
解决的一种模型。根据数据特征或属性,计算其归属到某一类别的,根据概率数值判断其归属类别Px1e−x1y10Px≥0.5Px0.5其中,y为类别结果,P(x)为,x为多因子情况将x替换为多元/多次函数g(x),即Px1e−gx1gxθ0θ1x1θ2x2...g(x)=0时的方程称为(Decision Boundary),可以是直线、曲线、面。目标:根据训练样本,寻找决策边界函数的系数。
2023-10-02 23:14:53
37
1
原创 2023.10.1学习
机器学习:人工智能的主流方法 从数据中建立关系(学习 → 优化升级),解决问题(Supervised Learning):训练数据包括(术语:标签 label) 线性回归、逻辑回归、决策树、神经网络、卷积神经网络、循环神经网络无监督学习(Unsupervised Learning):训练数据不包括正确的结果,使之自己摸索 聚类算法半监督学习(Semi-supervised Learning):训练数据包含少量正确的结果。
2023-10-02 00:41:33
36
1
原创 2023.9.30学习
b站课程(1-4节):课程链接:https://www.bilibili.com/video/BV1884y1k7cv/?spm_id_from=333.337.search-card.all.click&vd_source=a820d895dafccb5130050f1d069bd977Artificial intelligenceIntelligence: The capacity to learn and solve problemsArtificial intelligence: The simul
2023-09-30 22:13:56
36
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人