weixin_41962319的博客

原创 初始RAG

大型语言模型（LLMs）已经成为我们生活和工作的一部分，它们以惊人的多功能性和智能化改变了我们与信息的互动方式。然而，尽管它们的能力令人印象深刻，但它们也存在时效性（可能会产生幻觉问题）、准确性、算力效率、隐私保护方面还面临着一些挑战和局限性。在现实世界的应用中，数据需要不断更新以反映最新的发展，生成的内容必须是透明可追溯的，以便控制成本并保护数据隐私。因此，简单依赖于这些 “黑盒” 模型是不够的，我们需要更精细的解决方案来满足这些复杂的需求。

原创 应用回归分析作业

第一步：导入数据将数据的Features和Values分开，以便后续步骤可以分开使用（训练时只使用Features，验证时二者都要使用）。import pandas as pdimport numpy as npimport visuals as vsdata = pd.read_csv('housing.csv')features = data.drop('MEDV',axis=1)prices = data['MEDV']数据解释如下：CRIM：城镇人均犯罪率。ZN：住宅用地超过

原创 强化学习之连续动作

连续动作输入的是state，输出的是action，下次输入相同的state时，则网络会输出相同的action，是确定性策略。离散动作输入的是state，输出的是每个action的概率，经过sample之后，才输出agent所要采取的action连续动作输入的state经过网络输出后，经过tanh激活函数将输出缩放到[-1,1]，在经过实际范围进行缩放，在输出给环境。比如：小车方向的范围是[-2,2]，将tanh输出的x2，再输出给环境。DDPG：每个state都更新一次网络，是单步更新网络。一边更新Q

原创 Task1赛题理解

赛题理解1.赛题数据：赛题数据主要是街道上的数字的牌子，最多不超过5位数。训练集包括3万张图像，验证集包括1万张图像。2.数据标签：训练集和验证集的每张图像的标签主要包括：图像名字（和图像数据中的名字一一对应），top（左上角坐标x），height（字符高度），left（左上角坐标y），width（字符宽度），label（字符编码），如图所示：3.评价指标：评价标准为准确率，选手提交结果与实际图片的编码进行对比，以编码整体识别准确率为评价指标，结果越大越好，具体计算公式如下：score=编码

原创 Inception模块

Inception1.inception模块一共有22层。1x1,3x3,5x5的卷积运算对应不同的特征图区域，可以得到更好的图像表征信息。为了更好地降低网络参数地数量，在3x3,5x5前加入1x1地卷积模块。这种1x1地卷积可以先将特征图降维，在送给3x3和5x5大小的卷积核，由于通道数地降低，参数量也有较大的减少。为了避免深层网络训练时带来的梯度消失问题，在第三和第六个inception模块输出后执行Softmax并计算损失，在训练和最后的损失一并回传。inception v1参数的数量是A

原创 task6 边缘检测

边缘检测1.sobel算子：原理：1)边缘：灰度或结构等信息的突变处，边缘是一个区域的结束，也是另一个区域的开始，利用该特征可以分割图像。2)边缘点：图像中具有坐标[x，y]，且处在强度显著变化的位置上的点。 3)边缘段：对应于边缘点坐标[x，y]及其方位 ，边缘的方位可能是梯度角。索贝尔算子（Sobeloperator）主要用作边缘检测，在技术上，它是一离散性差分算子，用来运算图像...

原创 task05 图像分割/二值化

图像分割/二值化1.阈值分割：阈值分割法是一种基于区域的图像分割技术，原理是把图像象素点分为若干类。图像阈值化分割是一种传统的最常用的图像分割方法，因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。它特别适用于目标和背景占据不同灰度级范围的图像。它不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤，因此在很多情况下，是进行图像分析、特征提取与模式识别之前的必...

原创 task4 图像滤波

task4 图像滤波滤波器主要两类：线性和非线性。线性滤波器：使用连续窗函数内像素加权和来实现滤波，同一模式的权重因子可以作用在每一个窗口内，即线性滤波器是空间不变的。如果图像的不同部分使用不同的滤波权重因子，线性滤波器是空间可变的。因此可以使用卷积模板来实现滤波。线性滤波器对去除高斯噪声有很好的效果。常用的线性滤波器有均值滤波器和高斯平滑滤波器。(1) 均值滤波器：最简单均值滤波器是局部...

原创 task3 彩色空间的转换

1.RGB颜色空间：RGB(red,green,blue)颜色空间最常用的用途就是显示器系统，彩色阴极射线管,彩色光栅图形的显示器 都使用R、G、B数值来驱动R、G、B 电子枪发射电子，并分别激发荧光屏上的R、G、B三种颜色的荧光粉发出不同亮度的光线，并通过相加混合产生各种颜色；扫描仪也是通过吸收原稿经反射或透射而发送来 的光线中的R、G、B成分，并用它来表示原稿的颜色。RGB色彩空间称为与设备...

原创 Task 02图像几何变换

Task 02图像几何变换几何变换：几何变换可以看成图像中物体（或像素）空间位置改变，或者说是像素的移动。几何运算需要空间变换和灰度级差值两个步骤的算法，像素通过变换映射到新的坐标位置，新的位置可能是在几个像素之间，即不一定为整数坐标。这时就需要灰度级差值将映射的新坐标匹配到输出像素之间。最简单的插值方法是最近邻插值，就是令输出像素的灰度值等于映射最近的位置像素，该方法可能会产生锯齿。这种方...

原创 Task 1 opencv框架与图像插值算法

Task 1 opencv框架与图像插值算法1.最邻近插值算法：不需要计算，在待求象素的四邻象素中，将距离待求象素最近的邻象素灰度赋给待求象素设i+u, j+v(i, j为正整数， u, v为大于零小于1的小数，下同)为待求象素坐标，则待求象素灰度的值 f(i+u, j+v)。公式：srcX=dstX* (srcWidth/dstWidth) , srcY = dstY * (srcHei...

原创 Task3 特征工程

Task3 特征工程#首先我们处理缺失值，缺失的主要有三列bodyType（车身类型），fuelType（燃油类型），gearbox（变速箱）这三列缺失的值均大于1000，认为疏忽漏掉的统计可能性较少，极有可能是因为统计人员的问题，可能不知道如何判断或者判断不出来。所以把他们当作另外一种情况来处理。train = train.fillna({'gearbox':2.0})train = tr...

原创 Task2 数据分析

Task2 数据分析#导入所需要的库import pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.ensemble import RandomForestRegressorfrom scipy import stats as stimport seaborn as snsimpo...

原创 答辩

原创 模型融合

常见的模型融合方法有：Bagging、Boosting、Stacking、Blending。还有权重加权取平均。(3-1):BaggingBagging 将多个模型，也就是多个基学习器的预测结果进行简单的加权平均或者投票。它的好处是可以并行地训练基学习器。Random Forest就用到了Bagging的思想。(3-2): BoostingBoosting 的思想有点像知错能改，每个基学习...

原创 模型调参

我们使用GridSearch对xgboost进行调参。首先先导入我们需要使用的包。from sklearn.model_selection import GridSearchCVfrom sklearn.model_selection import KFold, cross_val_scoreimport xgboost as xgb我们通过以前主观判断和以前的经验来挑选出一些重要的参数，...

原创 城市-房产租金预测之特征工程&特征选择

城市-房产租金预测之特征工程&特征选择首先我们要对房间类型[‘houseType’]进行拆分，将其作为新的特征[‘Room’]，[‘Hall’]，[‘Path’]，同时也需要对[‘tradeTime’]进行时间提取。当然需要对train和test同时进行。def newfeature(data): data['tradeTime'] = pd.to_datetime(data[...

原创 城市-房产租金预测之数据清洗

## 城市-房产租金预测之数据清洗 ## 缺失值处理：统计缺失值缺失的数量，发现只有pv和uv缺失且数量较少，故采用均值填充。missing_columns = (train.isnull().sum())print(missing_columns[missing_columns > 0])运行结果：pv 18uv 18dtype: int64##分析每一个c...

原创 ## 城市-房产租金预测

城市-房产租金预测赛题背景：数据集中的数据类别包括租赁房源、小区、二手房、配套、新房、土地、人口、客户、真实租金等。属于回归问题。评分指标：查看列的情况：train.info(verbose=True,null_counts=True)运行结果：<class ‘pandas.core.frame.DataFrame’>RangeIndex: 41440 entries,...