- 博客(95)
- 收藏
- 关注
RSS订阅原创 二分查找中的小细节
主要参考二分查找，虽然思想非常简单，但是边界值的处理经常出问题。主要有以下两个方面：例如到底是还是，到底是呢，还是要呢？其实这两种方法都可以实现，选择哪种写法关键在于区间是如何定义的。写二分法，区间的定义一般为两种，左闭右闭即[left, right]，或者左闭右开即[left, right)。举个例子，比如说有一个数组名为数组的合法下标是0，1，2，3，4.并不能取到5，所以是左闭右开区间。同理，以下写法是左闭右闭区间在后续的代码中，都要保持区间的一致性。
2024-03-31 20:54:32
154
原创 模式识别与机器学习-集成学习
并行 vs 串行：Bagging是并行的集成学习方法，而Boosting是串行的。数据处理方式：Bagging通过随机抽样构建多个模型，Boosting通过逐步迭代训练一系列弱分类器并进行加权。对模型的改进方式：Bagging减少方差，Boosting减少偏差。对异常值和噪声的敏感性：Boosting相对于Bagging更加敏感。选择Bagging还是Boosting取决于具体问题和数据集的性质。通常，对于复杂数据和模型，Boosting更有优势；
2023-12-30 12:59:32
1704
原创 模式识别与机器学习-特征选择和提取
谨以此博客作为复习期间的记录。常见分类问题的流程，数据预处理和特征选择提取时机器学习环节中最重要的两个流程。这两个环节直接决定了最终性能的上下限，本部分记录一下特征提取和选择部分（特征工程）可以表示为：从一个包含 n 个度量值的集合x1x2xn中，按照某个准则选择出一个子集，用作分类的特征，这个子集具有降维的效果（m 维，其中 m < n）。可以表示为：通过某种变换，将原始特征集合x1x2xn转换成一个包含 m 个新特征y1y2ym。
2023-12-26 15:43:14
679
1
原创 幺模矩阵-线性规划的整数解特性
在线性规划问题中，如果A为幺模矩阵，那么该问题具有最优整数解特性。也就是说使用单纯形法进行求解，得到的解即为整数解。无需再特定使用整数规划方法。在实际应用中，例如网络流问题、匹配问题和覆盖问题等，在问题的线性表示中，经常出现幺模矩阵作为约束矩阵。
2023-12-23 16:08:51
785
原创 整数规划-分支定界法
而目前我们得到整数可行解的目标函数值为950，如果后续求到的解质量非常差，我们也可以把950当为问题的最优解，如果后续有更高质量的解，我们可以将更高质量的解作为最优解。子问题2无需再搜索了，子问题2当前UB为1000，继续往下搜索，增加约束，UB只会越来越低，因此子问题2的孩子节点不可能再有解>1000的情况，因此可以确定子问题6得出的解即为最优解。但是在大部分的规划问题中，A都并不满足幺模矩阵，单纯形法可以解决线性规划，但是并不能保证所得出的最优解为整数解，因此就需要一种单独针对整数变量求解的方法。
2023-12-23 11:41:30
1303
原创 算法中的最优化方法课程复习
因此，最速下降法并不总是能够最快搜索到最优解，特别是在目标函数复杂、非凸或存在不良条件数的情况下。针对不同的问题，需要综合考虑目标函数的特性，并根据实际情况选择合适的优化算法。如果是请阐述原因，如果不是，请说明什么情况下不能，可以采用什么方法更高效，为什么?负梯度方向是从当前来看函数值下降最快的方向，所以V1是负梯度方向，而梯度方向与负梯度方向相反。无约束非线性问题，用LM，牛顿法，那几种共轭梯度法，最速下降法，方向+一维搜索法，NM法等。问题变为了常见的含约束凸优化问题，可以用切平面法、椭球法、内点法。
2023-12-13 23:12:34
1137
原创 线性规划-单纯形法推导
这里写目录标题线性规划例子啤酒厂问题图解法单纯形法数学推导将问题标准化并转为矩阵形式开始推导实例图解法单纯形法线性规划例子啤酒厂问题每日销售上限：100箱啤酒营业时间：14小时生产1箱生啤需1小时生产1箱黑啤需2小时生啤售价：20美元/箱黑啤售价：30美元/箱目标：最大化利润我们可以根据上述描述，建立数学模型。假设生啤生产x1x_1x1箱，黑啤生产x2x_2x2箱，那么就有如下的线性规划式子。Maxx1,x220×x1+30×x2s.t.x1+2×x2<=14x1+x2&
2023-12-11 16:25:16
956
原创 0-1背包的初始化问题
参考：https://blog.csdn.net/pegasuswang_/article/details/9131619。表示能放前i个物品的情况下，容量为j时能放物品的数量（这道题歌曲数量对应物品数量，容量对应时间）。在遍历时，如果是找价值最大的，从后往前遍历。二维dp数组可以视情况优化为一维dp数组。这道题的状态转移方程比较易于确定。在0-1背包问题的初始化中。
2023-11-28 23:49:34
402
原创 排序算法学习记录-快速排序
快速排序关键在于确定一个中间值，使得小于这个中间值的数在左边，大于这个中间值的数在右边。那么中间值该如何确定呢？归并排序的核心思想在于将两个有序的数组合并为一个全局有序的数组。
2023-09-03 09:32:15
431
原创 GptCode-Python实现的prompt工程
安装方法适用于notebook中调用。如Jupyter NoteBook、Jupyter Lab、Kaggle、Colab等平台。（Kaggle使用不需要科学上网，其余平台需要）
2023-05-02 16:45:27
410
1
原创 用户贷款违约预测-Top1方案-单模0.9414
用户贷款违约预测，分类任务，label是响应变量。采用AUC作为评价指标。相关字段以及解释如下。数据集质量比较高，无缺失值。由于数据都已标准化和匿名化处理，因此较难分析异常值。尝试了Catboost，XGBoost，LightGBM。Catboost表现最好，且由于时间原因，未做模型融合，只使用CatBoost。在数据科学类竞赛中，特征工程极为重要，其重要性要远大于模型和参数。采用10折交叉验证，效果要好于5折和20折。在特征工程中，主要做了以下几个方面。
2023-04-13 14:00:25
592
原创 YARN部署
Hadoop示例代码在$HADOOP/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar。
2023-04-11 10:20:16
118
原创 HDFS存储原理
HDFS的最小储存单位，块大小统一，便于统一管理。但存在Block块丢失的问题，一个文件中的任意一个块丢失都会导致文件不可用。因此提出了HDFS的备份机制。将一个块复制多份，放在不同的服务器上。安全性大大提升。
2023-04-09 20:36:16
388
原创 HIVE学习记录-元数据
HIVE的元数据包括database、table、表的位置、类型、属性、字段等信息。Metadata储存在关系型数据库中，比如HIVE内置的Derby或者MySQL（第三方）中。HIVE元数据服务，管理Metadata元数据，控制客户端对元数据的访问。
2023-04-08 18:32:27
121
原创 HIVE学习记录-数据模型以及和SQL的对比
Table-表Partition-分区HIVE的一种优化手段，根据分区列（比如日期“day”）的值将表划分为不同分区，可以提高查询效率。各个分区以子文件夹的形式存在。一个文件夹表示一个分区Bucket-分桶HIVE的一种优化手段，根据表中的字段，比如“编号ID”经过Hash计算将数据继续划分为若干个小文件。分桶与不分桶的对比。
2023-04-07 20:58:39
127
原创 HIVE学习记录-基本概念
易于上手、学习开发成本低、提高开发效率，可以让用户专注于编写HQL，将简单的HQL语句转化为复杂的MapReduce在HDFS文件系统上执行。：用于储存分析的数据系统，面向数据分析（辅助决策）。数据仓库本身不生产数据，也不消费任何数据，只是用来储存，管理数据。并不是取代数据库，而是一个专业的、集成的数据分析平台。比如关系型数据库（SQL），为了捕获数据产生的。面向单个部门，数据仓库的子集，面向单个部门。比如HIVE，数据分析，为了分析数据产生的。Processing 联机。Processing 联机。
2023-04-07 20:24:10
450
原创 原型网络-论文翻译
我们针对小样本分类问题提出了原型网络，在这一场景下要求分类器具有泛化能力。从而当出现训练集中没有的新类时只需少量新类就能有比较好的表现。原型网络学习一个度量空间，在其中可以通过计算到每个类的原型表示的距离来执行分类。与最近的小样本学习方法相比，它们反映了一种更简单的归纳偏差，这在这种有限的数据下是有益的，并取得了良好的结果。我们提供了一个分析，表明一些简单的设计可以比复杂的体系结构和元学习的方法产生更好的效果。我们进一步将原型网络扩展到0样本学习，并在CU-Birds数据集上取得了较好的效果。
2023-04-07 16:10:48
530
3
原创 操作系统-概念复习
管理计算机硬件和软件资源，组织资源分配，为用户提供接口和环境的程序集合。并发、共享、虚拟、异步。库函数中会有系统调用，库函数是程序的一部分，可以在用户空间执行。系统调用是操作系统的一部分，必须要在内核态执行。有系统调用的库函数执行效率通常要低于普通的库函数（系统调用要转入内核态运行，转换费时间）批处理一次处理一批作业，cpu效率较高，但是难以交互。分时系统可以交互，但是有时会响应慢，不太适用于及时性要求高的场景，比如航天控制中。实时操作系统可以及时响应优先级高的任务，适用于对实时性要求高的场景。
2023-03-23 11:11:14
445
原创 C语言文件操作
从fp指向的文件中读取一个长度为n-1的字符串，存放到字符数组str中，如果读成功，返回地址str，失败则返回NULL。把str所指向的字符串写入到文件指针变量fp所指向的文件中。输出成功则返回0，否则返回非0值。把字符ch写到文件fp指向的文件中。输出成功，返回该字符，否则返回EOF（-1）。读成功，返回所带的字符，失败则返回文件结束标志EOF（-1）如果成功关闭，则返回0，若关闭失败，返回EOF（-1）若打开的是二进制文件，在其后方加入b即可。将一个文件中的信息复制到另一个文件中。
2023-03-22 20:48:41
460
原创 2020-复习
执行顺序如下，并且保持对count的互斥访问。fill:#333;color:#333;color:#333;fill:none;QS1PS1RS1QS2PS2RS2先定义全局变量。
2023-03-20 21:50:56
677
原创 2022-复习
会发生死锁，因为对转出⽅和转⼊⽅的账户进⾏加锁并不是同时进行的。举例，如果A要给B转账由进程1负责，但刚好B也要给A转账由进程2负责。那么有可能进程1先对A账户进行加锁同时申请对B账户加锁，进程2先对B账户进行加锁同时申请对账户A进行加锁。那么二者就形成了环路等待，产生了死锁。
2023-03-20 13:11:54
889
1
原创 基于TCP和UDP的Socket网络编程，Python版
问题描述:采用任意代码(框架)实现-⼀个简单的分布式应⽤，要求客户端向服务端发出⼀个字符串，服务端收到此字符串之后，向客户端发出回复“hello"
2023-03-16 23:07:29
206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人