- 博客(51)
- 收藏
- 关注
RSS订阅原创 困固加强理解 map，pr，准确率，召回率
困固加强理解 map，pr，准确率，召回率准确率和召回率的时候可以拿口罩检测做类别TF,预测的是否对PN,是否带口罩就戴口罩为视角：把戴口罩当成不戴口罩，戴口罩识别的准确率问题。把不戴口罩当成戴口罩，戴口罩识别的召回率问题。为了综合考评：准确率高，召回率高，相加不就好了，F1,近似于相加，分母相加，分子相加。进一步，计算pr曲线的面积，也就是希望面积越大，约近似于1的平方，也就是召回率最大时，准确率最大，都接近于1时最好.map,把所有类别的pr曲线下面积相加求平均的指标。给别人解释的时候，可
2022-04-02 17:09:18
501
原创 yolov5准确率与实际应用问题
yolov5鸟类识别，公开数据集，准确度从70%多提高到90%多以后，对其他物体识别为鸟的概率降低，但是鸟的泛化性明显下降，判别错就一直错（视频拍摄时）
2022-03-23 09:56:44
1942
原创 yolov5,android部署注意点
yolov5实践纪录，模型训练训练时需要修改的几个地方，不论如何，先git下载代码，然后下载单独的模型，在根目录下yolov5s.pt文件。data文件夹下修改，yaml文件举例：train: ../train/imagesval: ../valid/imagesnc: 2names: ['mask', 'no-mask']数据集格式labels每个文件和images每个图片原文件相同，文件内容，每行包含识别的标签，和每个预测框的初始坐标和长宽。一个文件可以包含多行，即包含多
2022-03-22 17:57:44
5240
原创 PuTTY ssh免费远程连接工具
SSH密码方式登录操作场景本节操作介绍在Windows和Linux环境中使用SSH密码方式远程登录Linux云服务器的操作步骤。前提条件弹性云服务器状态为“运行中”。弹性云服务器已经绑定弹性公网IP，绑定方式请参见绑定弹性公网IP。所在安全组入方向已开放22端口，配置方式请参见配置安全组规则。使用的登录工具（如PuTTY）与待登录的弹性云服务器之间网络连通。例如，默认的22端口没有被防火墙屏蔽。本地使用Windows操作系统如果本地主机为Windows操作系统，可以按照下面方式登录云服务器
2022-03-09 08:40:03
1347
原创 量化投资-相对强弱 RPS 下波动率差值策略-号称国信看家策略
策略步骤简介:1、 计算相应指数相对强弱 RPS2、 计算相应指数上行波动率、下行波动率，并计算二者差值3、 计算当天波动率差值的移动均值（天数由 RPS 值确定、RPS 值越大相就取的天数越多4、 观察前一天的(波动率差值的移动均值)，如为正就保持持有（或卖入）、否则就保持空仓（或卖出）。5、注：考虑交易成本2015年前（hs300）：2006-2015收益：1302.9290000000012006-2022收益：666.7719000000011观察17年以后的变化，收
2022-03-02 02:01:13
626
原创 量化交易获取数据
量化交易获取数据import osimport pandas as pdimport urllibimport tushare as tsimport pandas_datareader.data as webDATA_DIR = 'tmp'if not os.path.exists(DATA_DIR): os.mkdir(DATA_DIR)def download_163(datadir, code, dtype, start): print('download: %s
2022-03-02 00:59:25
219
1
原创 数据生成器迭代问题
数据生成器迭代问题def data_loader(data_path, batch_size, split=0.2): """ description: 从持久化文件中加载数据, 并划分训练集和验证集及其批次大小 :param data_path: 训练数据的持久化路径 :param batch_size: 训练和验证数据集的批次大小 :param split: 训练集与验证的划分比例 :return: 训练数据生成器, 验证数据生成器, 训练数据数量,
2021-10-19 12:06:07
150
原创 pytorch_model下载地址
pytorch_model.bin:BERT_PRETRAINED_MODEL_ARCHIVE_MAP = { 'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-pytorch_model.bin", 'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/ber
2021-10-09 17:47:58
1333
原创 中文汉字码表
[PAD][unused1][unused2][unused3][unused4][unused5][unused6][unused7][unused8][unused9][unused10][unused11][unused12][unused13][unused14][unused15][unused16][unused17][unused18][unused19][unused20][unused21][unused22][unused23][unuse
2021-09-08 18:44:44
67242
原创 nlp停用词189.
!"$%&’()*+,–.…………./.一.数.日///0123456789:????/::;<?@ALex[]^_`expsubsup|}~·××××ΔΨγμφφ．В——————‘’’‘“””，…………………………………………………………③′∈′｜℃Ⅲ↑→∈［∪φ∈≈①②②ｃ③③］④⑤⑥⑦⑧⑨⑩
2021-09-08 18:35:34
101
原创 GPU模型CPU加载
model.load_state_dict(torch.load(model_path)model.load_state_dict(torch.load(model_path,map_location = torch.device(‘cpu’)))
2021-08-24 18:59:42
99
原创 selenium+python自动化测试–环境搭建
from selenium import webdriverimport timedriver = webdriver.Chrome()driver.get("http://www.baidu.com")print(driver.title)driver.find_element_by_id("kw").send_keys("selenium")driver.find_element_by_id("su").click()time.sleep(3)driver.close() 安装：
2021-08-19 14:31:05
76
原创 python录音
博客园Python实现语音识别和语音合成主要借鉴录音# --coding:utf-8--import waveimport pyaudio# 用Pyaudio库录制音频# out_file:输出音频文件名# rec_time:音频录制时间(秒)def audio_record(out_file, rec_time): CHUNK = 1024 FORMAT = pyaudio.paInt16 # 16bit编码格式 CHANNELS = 1 # 单声道
2021-08-17 13:40:38
243
原创 nlp标注软件小探
nlp标注软件小探轻量化开源ChineseAnnotatorgit clone https://github.com/SophonPlus/ChineseAnnotator.git和YEDDA 异曲同工，但yedda需要一些奇奇怪怪的包，没有跑通，上面的跑通了Chinese-Annotator-master，网上流传的需要安装mongdb的工程，这个有模型训练，但只是摆设，貌似只能文本分类，现阶段没法使用20210505，浪费了我一天时间摸索呀bart 源码可以使用，可以标注关系doccano
2021-05-05 22:04:57
165
原创 深度学习之手写数字识别小探之细节点记录
深度学习之手写数字识别小探之细节点记录1.自己写一张图片去做判断时，底色完全黑色，形成二值图最好，如果底色是浅黑色，判断会有误差如下两张图的底色差别图片格式为png导入，准确率高一些，貌似：）层数经验以28*28为例输入层784，隐藏层第一层，520第二层，320第三层，240第四层，120输出层10训练时，四千多个样本数据，用全梯度下降，训练16次左右，以784为一组输入训练训练前数据处理取灰度图，归一化训练数据时，预测值需要0-9热编码import osos.
2020-11-29 19:35:07
125
原创 OpenCV之角点检测
角点检测在角点的地方，无论你向哪个方向移动小图，结果都会有很大的不同。所以可以把它们当 成一个好的特征Harris角点检测Harris角点检测的思想是通过图像的局部的小窗口观察图像，角点的特征是窗口沿任意方向移动都会导致图像灰度的明显变化API是：dst=cv.cornerHarris(src, blockSize, ksize, k)参数：img：数据类型为 float32 的输入图像。blockSize：角点检测中要考虑的邻域大小。ksize：sobel求导使用的核大小k ：角点检测方
2020-11-24 19:11:46
443
原创 OpenCV之霍夫变换
霍夫变换霍夫变换常用来提取图像中的直线和圆等几何形状，如下图所示：cv.HoughLines(img, rho, theta, threshold)参数：img: 检测的图像，要求是二值化的图像，所以在调用霍夫变换之前首先要进行二值化，或者进行Canny边缘检测rho、theta: \rhoρ 和\thetaθ的精确度threshold: 阈值，只有累加器中的值高于该阈值时才被认为是直线。import numpy as npimport randomimport cv2 as cvimp
2020-11-24 16:38:46
185
原创 图像平滑之模板匹配
模板匹配在给定的图片中查找和模板最相似的区域，该算法的输入包括模板和图片，整个任务的思路就是按照滑窗的思路不断的移动模板图片，计算其与图像中对应区域的匹配度，最终将匹配度最高的区域选择为最终的结果。将模板块每次移动一个像素 (从左往右，从上往下)，在每一个位置，都计算与模板图像的相似程度。API：res = cv.matchTemplate(img,template,method)参数：img: 要进行模板匹配的图像Template ：模板method：实现模板匹配的算法，主要有：平方差匹
2020-11-24 12:03:54
569
原创 图像平滑之边缘检测
边缘检测是图像处理和计算机视觉中的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反映了属性的重要事件和变化图像边缘检测大幅度地减少了数据量，保留了图像重要的结构属性。可以划分为两类：基于搜索和基于零穿越。通过寻找图像一阶导数中的最大值来检测边界，然后利用计算结果估计边缘的局部方向，通常采用梯度的方向，并利用此方向找到局部梯度模的最大值，代表算法是Sobel算子和Scharr算子。基于零穿越：通过寻找图像二阶导数零穿越来寻找边界，代表算法是Laplacian算子
2020-11-24 11:30:15
1336
原创 OpenCV图像处理之直方图
直方图直方图是对数据进行统计的一种方法，并且将统计值组织到一系列实现定义好的 bin 当中。其中， bin 为直方图中经常用到的一个概念，可以译为 “直条” 或 “组距”，其数值是从数据中计算出的特征统计量，这些数据可以是诸如梯度、方向、色彩或任何其他特征。图像直方图（Image Histogram）是用以表示数字图像中亮度分布的直方图，标绘了图像中每个亮度值的像素个数。这种直方图中，横坐标的左侧为较暗的区域，而右侧为较亮的区域。因此一张较暗图片的直方图中的数据多集中于左侧和中间部分，而整体明亮、只有少
2020-11-24 09:37:21
325
原创 图像平滑之均值，高斯，中值滤波记录
图像平滑图像平滑从信号处理的角度看就是去除其中的高频信息，保留低频信息。因此我们可以对图像实施低通滤波。低通滤波可以去除图像中的噪声，对图像进行平滑。根据滤波器的不同可分为均值滤波，高斯滤波，中值滤波， 双边滤波。均值滤波使用卷机框（核函数）覆盖的区域矩阵和，代替中心，或者指定位置边界容易模糊API:cv.blur(src, ksize, anchor, borderType)参数:src：输入图像ksize：卷积核的大小anchor：默认值 (-1,-1) ，表示核中心borde
2020-11-22 15:34:27
176
原创 Opencv图像处理之形态学操作
Opencv图像处理之形态学操作形态学操作：腐蚀，膨胀，开闭运算，礼帽和黑帽等，及其不同操作之间的关系连通性二值图：像素4邻域，D邻域，8邻域连通性，满足特定的相似准则4连通，8连通M连通值相同，四连通没有交集腐蚀和膨胀腐蚀：用结构B元素中的每一个像素与结构A覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0。如下图所示，结构A被结构B腐蚀后：腐蚀结果API：cv.erode(img,kernel,iterations)参数：img: 要处理的图像kernel
2020-11-22 13:10:06
166
原创 神经网络学习之Opencv使用记录
神经网络学习之Opencv使用记录图像“图”是物体反射或透射光的分布，“像“是人的视觉系统所接受的图在人脑中所形版的印象或认识这是个哲学问题安装OpenCV之前需要先安装numpy, matplotlib。3.4.2以下版本开源如果我们要利用SIFT和SURF等进行特征提取时，还需要安装位数计算机采用0/1编码的系统，数字图像也是利用0/1来记录信息，我们平常接触的图像都是8位数图像，包含0～255灰度，其中0，代表最黑，1，表示最白。人眼对灰度更敏感一些，在16位到32位之间。看一张
2020-11-21 23:55:17
97
原创 决策树算法之介绍
决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法决策树：是一种树形结构，本质是一颗由多个判断节点组成的树其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。决策树：是一种树形结构，本质是一颗由多个判断节点组成的树其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。信息熵和信息增益...
2020-11-09 16:44:24
156
原创 分类中解决类别不平衡问题
分类中解决类别不平衡问题在现实环境中，采集的数据（建模样本）往往是比例失衡的。比如网贷数据，逾期人数的比例是极低的（千分之几的比例）；奢侈品消费人群鉴定等在这一节中，我们一起看一下，当遇到数据类别不平衡的时候，我们该如何处理。在Python中，有Imblearn包，它就是为处理数据比例失衡而生的。安装Imblearn包pip3 install imbalanced-learn解决类别不平衡数据方法介绍过采样方法对训练集里的少数类进行“过采样”（oversampling），即增加一些少数类样本使
2020-11-09 16:17:04
199
原创 逻辑回归几个重点
逻辑回归逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛。逻辑回归介绍：广告点击率是否为垃圾邮件是否患病金融诈骗虚假账号属于两个类别之间的判断。逻辑回归就是解决二分类问题逻辑回归的输入就是一个线性回归的结果。激活函数流程损失对数自然损失无论何时，我们都希望损失函数值，越小越好分情况讨论，对应的损失函数值：优化同样使用梯度下降优化算法，去减少损失
2020-11-09 10:47:54
143
原创 训练集调优时的数据分割小览
数据分割测试集应该尽可能与训练集互斥留出法自助法交叉验证法留一法是留出法中的一种交叉验证法KFold和StratifiedKFold都在，sklearn.model_seletion里交叉验证实现方法，除了咱们前面讲的GridSearchCV之外，还有KFold, StratifiedKFold用法：将训练/测试数据集划分n_splits个互斥子集，每次用其中一个子集当作验证集，剩下的n_splits-1个作为训练集，进行n_splits次训练和测试，得到n_splits个结果Str
2020-11-07 18:19:42
696
原创 knn预测最小案例总结
预测一个人将要签到的地方。 为了本次比赛，Facebook创建了一个虚拟世界，其中包括10公里*10公里共100平方公里的约10万个地方。 对于给定的坐标集，您的任务将根据用户的位置，准确性和时间戳等预测用户下一次的签到位置。 数据被制作成类似于来自移动设备的位置数据。 请注意：您只能使用提供的数据进行预测。文件说明 train.csv, test.csvrow id：签入事件的idx y：坐标accuracy: 准确度，定位精度time: 时间戳place_id: 签到的位置，这也是你需要预
2020-11-07 18:12:51
156
原创 数据集划分小探
数据集划分小探x = [[0], [1], [2], [3],[4], [5], [6], [7],[8]]y = [0, 0, 1, 1,2,2,2,2,3]# # 2、数据基本处理 -- 划分数据集x_train, x_test, y_train, y_test = sklearn.model_selection.train_test_split(x, y,test_size=0.2,random_state=1)print(x_train)print(x_test)print(y_tr
2020-11-07 18:00:56
247
原创 线性回归过拟合欠拟合处理方式小览
欠拟合，增加高次项，增加特征过拟合正则化相当于删除特征防止高次项过拟合给高此项增加限制L1高次项系数设成0L2减小高次项系数维灾难思维跳跃下（娱乐娱乐）：维度越高，开始分类效果好，但后期会造成维度爆炸，成随机性，防止维灾难如果人类突破维度限制，很有可能出现轮回，甚至选择要不要轮回...
2020-11-07 17:59:07
197
原创 线性回归api
案例：from sklearn.datasets import load_bostonfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.linear_model import LinearRegression,SGDRegressorfrom sklearn.metrics import mean_squared_erro
2020-11-07 17:15:55
131
原创 线性回归-梯度下降算法四种方式小介
梯度下降假设函数(hypothesis function)：全梯度下降算法(Full gradient descent),随机梯度下降算法(Stochastic gradient descent),小批量梯度下降算法(Mini-batch gradient descent),随机平均梯度下降算法(Stochastic average gradient descent)全梯度下降算法(FG)批量梯度下降法，是梯度下降法最常用的形式，具体做法也就是在更新参数时使用所有的样本来进行更新。计算训
2020-11-07 16:43:36
430
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人