- 博客(19)
- 收藏
- 关注
原创 初始RAG
大型语言模型(LLMs)已经成为我们生活和工作的一部分,它们以惊人的多功能性和智能化改变了我们与信息的互动方式。然而,尽管它们的能力令人印象深刻,但它们也存在时效性(可能会产生幻觉问题)、准确性、算力效率、隐私保护方面还面临着一些挑战和局限性。在现实世界的应用中,数据需要不断更新以反映最新的发展,生成的内容必须是透明可追溯的,以便控制成本并保护数据隐私。因此,简单依赖于这些 “黑盒” 模型是不够的,我们需要更精细的解决方案来满足这些复杂的需求。
2024-01-26 11:25:19
1130
原创 应用回归分析作业
第一步:导入数据将数据的Features和Values分开,以便后续步骤可以分开使用(训练时只使用Features,验证时二者都要使用)。import pandas as pdimport numpy as npimport visuals as vsdata = pd.read_csv('housing.csv')features = data.drop('MEDV',axis=1)prices = data['MEDV']数据解释如下:CRIM:城镇人均犯罪率。ZN:住宅用地超过
2020-12-29 14:48:34
769
1
原创 强化学习之连续动作
连续动作输入的是state,输出的是action,下次输入相同的state时,则网络会输出相同的action,是确定性策略。离散动作输入的是state,输出的是每个action的概率,经过sample之后,才输出agent所要采取的action连续动作输入的state经过网络输出后,经过tanh激活函数将输出缩放到[-1,1],在经过实际范围进行缩放,在输出给环境。比如:小车方向的范围是[-2,2],将tanh输出的x2,再输出给环境。DDPG:每个state都更新一次网络,是单步更新网络。一边更新Q
2020-06-25 20:02:45
6704
7
原创 Task1赛题理解
赛题理解1.赛题数据:赛题数据主要是街道上的数字的牌子,最多不超过5位数。训练集包括3万张图像,验证集包括1万张图像。2.数据标签:训练集和验证集的每张图像的标签主要包括:图像名字(和图像数据中的名字一一对应),top(左上角坐标x),height(字符高度),left(左上角坐标y),width(字符宽度),label(字符编码),如图所示:3.评价指标:评价标准为准确率,选手提交结果与实际图片的编码进行对比,以编码整体识别准确率为评价指标,结果越大越好,具体计算公式如下:score=编码
2020-05-20 21:20:05
156
原创 Inception模块
Inception1.inception模块一共有22层。1x1,3x3,5x5的卷积运算对应不同的特征图区域,可以得到更好的图像表征信息。为了更好地降低网络参数地数量,在3x3,5x5前加入1x1地卷积模块。这种1x1地卷积可以先将特征图降维,在送给3x3和5x5大小的卷积核,由于通道数地降低,参数量也有较大的减少。为了避免深层网络训练时带来的梯度消失问题,在第三和第六个inception模块输出后执行Softmax并计算损失,在训练和最后的损失一并回传。inception v1参数的数量是A
2020-05-14 15:46:48
978
原创 task6 边缘检测
边缘检测1.sobel算子:原理:1)边缘:灰度或结构等信息的突变处,边缘是一个区域的结束,也是另一个区域的开始,利用该特征可以分割图像。2)边缘点:图像中具有坐标[x,y],且处在强度显著变化的位置上的点。 3)边缘段:对应于边缘点坐标[x,y]及其方位 ,边缘的方位可能是梯度角。索贝尔算子(Sobeloperator)主要用作边缘检测,在技术上,它是一离散性差分算子,用来运算图像...
2020-05-01 16:21:12
225
原创 task05 图像分割/二值化
图像分割/二值化1.阈值分割:阈值分割法是一种基于区域的图像分割技术,原理是把图像象素点分为若干类。图像阈值化分割是一种传统的最常用的图像分割方法,因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。它特别适用于目标和背景占据不同灰度级范围的图像。它不仅可以极大的压缩数据量,而且也大大简化了分析和处理步骤,因此在很多情况下,是进行图像分析、特征提取与模式识别之前的必...
2020-04-29 22:31:11
370
原创 task4 图像滤波
task4 图像滤波滤波器主要两类:线性和非线性。线性滤波器:使用连续窗函数内像素加权和来实现滤波,同一模式的权重因子可以作用在每一个窗口内,即线性滤波器是空间不变的。如果图像的不同部分使用不同的滤波权重因子,线性滤波器是空间可变的。因此可以使用卷积模板来实现滤波。线性滤波器对去除高斯噪声有很好的效果。常用的线性滤波器有均值滤波器和高斯平滑滤波器。(1) 均值滤波器:最简单均值滤波器是局部...
2020-04-27 13:09:55
208
原创 task3 彩色空间的转换
1.RGB颜色空间:RGB(red,green,blue)颜色空间最常用的用途就是显示器系统,彩色阴极射线管,彩色光栅图形的显示器 都使用R、G、B数值来驱动R、G、B 电子枪发射电子,并分别激发荧光屏上的R、G、B三种颜色的荧光粉发出不同亮度的光线,并通过相加混合产生各种颜色;扫描仪也是通过吸收原稿经反射或透射而发送来 的光线中的R、G、B成分,并用它来表示原稿的颜色。RGB色彩空间称为与设备...
2020-04-25 12:00:04
192
原创 Task 02图像几何变换
Task 02图像几何变换几何变换:几何变换可以看成图像中物体(或像素)空间位置改变,或者说是像素的移动。几何运算需要空间变换和灰度级差值两个步骤的算法,像素通过变换映射到新的坐标位置,新的位置可能是在几个像素之间,即不一定为整数坐标。这时就需要灰度级差值将映射的新坐标匹配到输出像素之间。最简单的插值方法是最近邻插值,就是令输出像素的灰度值等于映射最近的位置像素,该方法可能会产生锯齿。这种方...
2020-04-23 16:05:18
373
原创 Task 1 opencv框架与图像插值算法
Task 1 opencv框架与图像插值算法1.最邻近插值算法:不需要计算,在待求象素的四邻象素中,将距离待求象素最近的邻象素灰度赋给待求象素设i+u, j+v(i, j为正整数, u, v为大于零小于1的小数,下同)为待求象素坐标,则待求象素灰度的值 f(i+u, j+v)。公式:srcX=dstX* (srcWidth/dstWidth) , srcY = dstY * (srcHei...
2020-04-21 10:50:29
133
原创 Task3 特征工程
Task3 特征工程#首先我们处理缺失值,缺失的主要有三列bodyType(车身类型),fuelType(燃油类型),gearbox(变速箱)这三列缺失的值均大于1000,认为疏忽漏掉的统计可能性较少,极有可能是因为统计人员的问题,可能不知道如何判断或者判断不出来。所以把他们当作另外一种情况来处理。train = train.fillna({'gearbox':2.0})train = tr...
2020-03-25 22:01:18
102
原创 Task2 数据分析
Task2 数据分析#导入所需要的库import pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.ensemble import RandomForestRegressorfrom scipy import stats as stimport seaborn as snsimpo...
2020-03-23 09:04:43
118
原创 模型融合
常见的模型融合方法有:Bagging、Boosting、Stacking、Blending。还有权重加权取平均。(3-1):BaggingBagging 将多个模型,也就是多个基学习器的预测结果进行简单的加权平均或者投票。它的好处是可以并行地训练基学习器。Random Forest就用到了Bagging的思想。(3-2): BoostingBoosting 的思想有点像知错能改,每个基学习...
2020-01-19 21:32:43
178
原创 模型调参
我们使用GridSearch对xgboost进行调参。首先先导入我们需要使用的包。from sklearn.model_selection import GridSearchCVfrom sklearn.model_selection import KFold, cross_val_scoreimport xgboost as xgb我们通过以前主观判断和以前的经验来挑选出一些重要的参数,...
2020-01-15 21:42:32
343
原创 城市-房产租金预测之特征工程&特征选择
城市-房产租金预测之特征工程&特征选择首先我们要对房间类型[‘houseType’]进行拆分,将其作为新的特征[‘Room’],[‘Hall’],[‘Path’],同时也需要对[‘tradeTime’]进行时间提取。当然需要对train和test同时进行。def newfeature(data): data['tradeTime'] = pd.to_datetime(data[...
2020-01-12 22:56:57
250
原创 城市-房产租金预测之数据清洗
## 城市-房产租金预测之数据清洗 ## 缺失值处理:统计缺失值缺失的数量,发现只有pv和uv缺失且数量较少,故采用均值填充。missing_columns = (train.isnull().sum())print(missing_columns[missing_columns > 0])运行结果:pv 18uv 18dtype: int64##分析每一个c...
2020-01-09 13:29:16
179
原创 ## 城市-房产租金预测
城市-房产租金预测赛题背景:数据集中的数据类别包括租赁房源、小区、二手房、配套、新房、土地、人口、客户、真实租金等。属于回归问题。评分指标:查看列的情况:train.info(verbose=True,null_counts=True)运行结果:<class ‘pandas.core.frame.DataFrame’>RangeIndex: 41440 entries,...
2020-01-06 13:52:57
171
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人