qq_43684686的博客

原创 VirtualBox 7.0.18 安装在D盘文件下，会提示目录不安全等信息，不让安装

VirtualBox 7.0.18 安装在D盘文件下，会提示目录不安全等信息，不让安装。重新执行安装程安装到 d:\a-vm。在D盘新建一个文件夹a-vm,

原创 【NumPy 简单入门学习】

NumPy：行向量和矩阵计算数学库，围绕ndarrays数组展开（n-dimension array ：n维数组）提示：以下是本篇文章正文内容，下面案例可供参考以上就是今天要讲的内容，本文仅仅简单介绍了numpy的基础入门知识。

原创 lru_cache详解

https://www.jb51.net/article/204673.htm

原创 零基础入门语义分割-Task6 模型集成

零基础入门语义分割-Task6 模型集成学习目标集成学习方法深度学习中的集成学习DropoutTTASnapshot总结集成学习方法、深度学习中的集成学习和结果后处理思路。学习目标学习集成学习方法以及交叉验证情况下的模型集成学会使用深度学习模型的集成学习集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法与具体验证集划分联系紧密。由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许

原创 零基础入门语义分割-地表建筑物识别 TASK05：模型训练与验证

零基础入门语义分割-地表建筑物识别 TASK05：模型训练与验证深度学习训练过程：学习目标构造验证集留出法（Hold-Out）交叉验证法（Cross Validation，CV）自助采样法（BootStrap）模型训练与验证记录下验证集精度模型调参流程总结深度学习训练过程：1.在训练集上进行训练，并在验证集上进行验证；2.模型可以保存最优的权重，并读取权重；3.记录下训练集和验证集的精度，便于调参。为此本章将从构建验证集、模型训练和验证、模型保存与加载和模型调参几个部分讲解，在部分小节中将会结合

原创 零基础入门语义分割-地表建筑物识别TASK04：评价函数与损失函数

零基础入门语义分割地表建筑物识别TASK04：评价函数与损失函数学习目标TP TN FP FNdiceDice Lossdice代码实现IoU评价指标IoU代码实现BCE损失函数BCE代码实现Focal LossFocal Loss代码实现Lovász-SoftmaxLovász-Softmax代码实现学习目标掌握常见的评价函数和损失函数Dice、IoU、BCE、Focal Loss、Lovász-Softmax；掌握评价/损失函数的实践；TP TN FP FN在讲解语义分割中常用的评价函数和

原创 零基础入门语义分割-Task3 语义分割模型发展

零基础入门语义分割-Task3 语义分割模型发展3 语义分割模型发展3.1 学习目标3.2 FCN3.3 SegNet3.4 Unet3.5 DeepLab3.6 RefineNet3.7 PSPNet3.8 基于全卷积的GAN语义分割模型本章主要讲解的是语义分割网络模型的发展：FCN 、SegNet、Unet、DeepLab、RefineNet、PSPNet、GAN语义分割。3 语义分割模型发展语义分割（全像素语义分割）作为经典的计算机视觉任务（图像分类，物体识别检测，语义分割）。其结合了图像分类、

原创 零基础入门语义分割-TASK02数据扩增

零基础入门语义分割-TASK02数据扩增数据扩增方法什么是数据扩增数据扩增怎么做方法OpenCV数据扩增albumentations数据扩增Pytorch读取赛题数据二级目录三级目录本章对语义分割任务中常见的数据扩增方法进行介绍，并使用OpenCV和albumentations两个库完成具体的数据扩增操作。本章主要内容为数据扩增方法、OpenCV数据扩增、albumentations数据扩增和Pytorch读取赛题数据四个部分组成。数据扩增方法什么是数据扩增数据扩增（Data Augmentati

原创 零基础入门语义分割-TASK01 赛题理解

零基础入门语义分割-TASK01 赛题理解赛题理解数据读取评估标准一学习主题:理解赛题内容解题流程一学习内容:赛题理解、数据读取、比赛baseline构建一学习成果:比赛baseline 提交赛题理解遥感技术应用于地表覆盖检测、植被面积检测和建筑物检测任务。目标任务：地表建筑物识别，识别图片中的地表建筑具体像素位置将地表航拍像素划分为有建筑物和无建筑物两类数据读取train_mask.csv:存储图片的标注的rle编码；train:存储训练集图片test:存储测试集图片rle编码的具

原创 记一次‘list‘ object is not callable错误

一些变量的命名，我使用了类的名字，如for line in list: ，所以造成了这个错误。请看下图：无错误时：有错误时：由于命名不规范，造成了错误。

原创 python常用内置模块总结

python查用内置模块总结Itertools用于操作迭代对象的函数itertools提供无限迭代器count>>> import itertools>>> natuals = itertools.count(1)>>> for n in natuals:... print(n)...123...其中count()会创建一个无限迭代器，上述代码会打印出自然数序列，只能按Ctrl+c退出cycle()把传入的一个序

原创 python批量读取图片

python批量读取图片import osfrom PIL import Imageimport matplotlib.pyplot as plt#读取images文件夹下所有文件的名字imagelist = os.listdir('D:/pycharm/Web/static/images/upload/')print(imagelist)rootdir="D:/pycharm/Web/static/images/upload/"print(rootdir+imagelist[0])for

原创 Attention机制（三）

Attention机制（三）之应用机器翻译https://arxiv.org/abs/1706.03762自然语言处理根据主语推测谓语根据上下文填充缺失的单词数字字符串运算处理简易程序执行图像处理及合成参考自https://zhuanlan.zhihu.com/p/47613793...

原创 Attention机制（二）

Attention机制（二）Self-Attention与Transformerwhy？由于RNN的顺序结构训练，速度常常受到限制，attention模型可以看到全局的信息，希望能够去掉RNN结构，仅仅依赖于Attention模型，使模型并行化，同时拥有全局信息what？直观理解先来看一个翻译的例子“I arrived at the bank after crossing the river” 这里面的bank指的是银行还是河岸呢，这就需要我们联系上下文，当我们看到river之后就应该知道这里b

原创 Attention机制

Attention机制（一）在Seq2Seq 问题中RNN与Attention的结合why？解决由长序列到定长序列而造成的信息损失的瓶颈what？attention机制翻译过程中decoder可以看到encoder的所有信息，而不仅局限于原来模型中定长的隐藏向量，并且不会丧失长程的信息直观理解eg：当翻译知识就是力量时，翻译knowledge时，注意力放在源句知识的部分，翻译power时，注意力集中在力量中数学运算利用RNN结构中的encoder的hidden state假设当

原创 HDFS默认端口

原创 数字图像处理遇到的问题及思考

使用MATLAB中的min函数一直显示索引超出矩阵纬度，why？length（A：）和numel（A）函数的区别A为一个矩阵numel （A）该语句返回数组中元素的总数。n=length(A)：如果A为非空数组，返回行数和列数两者之间数值较大的那一个值，即相当于执行了max(size(A))；如果A为空数组，则返回0；如果A是一个向量则返回A的长度。...

原创 葵花点穴手点通傅里叶变换

傅里叶变换链接傅里叶变换的时域与频域傅里叶变化的非公式理解频谱、能量谱、功率谱、倒频谱、小波分析见链接FT（Fourier Transformation）傅里叶变换FFT（Fast Fourier Transformation）快速傅里叶变换。就是DFT的快速算法，一般工程应用时用的都是这种算法FS（Fourier Series）傅里叶级数。是针对时域连续周期信号提出的，结果是离散的频域结果DFS（Discrete Fourier Series）...

原创 javascript map/reduce函数实现

javascript reduce函数实现参考自js学习再看reduce的用法Array的reduce()把一个函数作用在这个Array的[x1, x2, x3…]上，这个函数必须接收两个参数，reduce()把结果继续和序列的下一个元素做累积计算，其效果就是：[x1, x2, x3, x4].reduce(f) = f(f(f(x1, x2), x3), x4)比方说对一个Array求和，就可以用reduce实现：var arr = [1, 3, 5, 7, 9];arr.reduce(f

原创 强化学习第四章和第五章

强化学习第四章和第五章Policy Gradient策略梯度一场游戏episode(回合) 或者 trial(试验)total rewardretun 回报Trajectory状态和行为的集合gradient ascent梯度下降法Discounted Return(折扣回报)...

原创 强化学习第二次打卡

强化学习第二章和第三章马尔科夫example公式计算习题及解答Keywords2 Questions表格型方法1 Keywords2 Questions本次是Datawhale的第二次打卡活动，详情见链接关键词关键词马尔可夫性质(Markov Property)马尔可夫链(Markov Chain)状态转移矩阵(State Transition Matrix)马尔可夫奖励过程(Markov Reward Process, MRP)奖励函数(rewar

原创 强化学习第一章概述

强化学习（Reinforcement Learing ）关键词索引智能体agent环境environment独立同分布independently identically distribution（iid）延迟奖励delayed Reward试错trial-and-error exploration探索exploration开发exploitation奖励信号reward signal深度强化学习Deeplearning

原创 强化学习初入门

在网上搜索了关于强化学习的一些博客强化学习是什么 与有监督学习、无监督学习类似的机器学习算法有监督学习是对有标签的数据进行训练从而对未知数据做预测而强化学习是通过不断在学习中实践，在实践中学习的计算决策过程。通过不断地与环境交互，经过短期、长期的收益进行优化决策，获取最大收益的过程。发现强化学习是一个状态不断转移的过程，想到了动态规划。索性查了一下：动态规划是通过组合子问题的解来解决原问题动态规划应用于子问题重叠的情况，即不同的子问题具有公共的子子问题动态规划算法对每个子子问题只求解一次

原创 推荐系统（一）

原创 贷款风险预测TASK5

原创 redis配置文件详细说明

配置文件介绍Redis 的配置文件位于 Redis 安装目录下，文件名为 redis.conf你可以通过 CONFIG 命令查看或设置配置项。语法Redis CONFIG 命令格式如下：redis 127.0.0.1:6379> CONFIG GET CONFIG_SETTING_NAME实例redis 127.0.0.1:6379> CONFIG GET loglevel“loglevel”“notice”参数说明redis.conf 配置项说明如下：注意，下面

转载 2020-09-24

文章目录常见模型的对比与性能评估1.1 逻辑回归1.2 决策树模型1.3 集成模型集成方法（ensemble method）1.4 模型评估方法建模3.调参常见模型的对比与性能评估1.1 逻辑回归优点训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；适合二分类问题，不需要缩放输入特征；内存资源占用小，只需要存储各个维度的特征值；缺点逻辑回归需要预先处理缺失值和异常值【可参考task3特

原创 零基础入门金融分析

3.2 内容介绍数据预处理缺失值的填充时间格式处理对象类型特征转换到数值异常值处理基于3segama原则基于箱型图数据分箱固定宽度分箱分位数分箱离散数值型数据分箱连续数值型数据分箱卡方分箱（选做作业）特征交互特征和特征之间组合特征和特征之间衍生其他特征衍生的尝试（选做作业）特征编码one-hot编码label-encode编码特征选择1 Filter2 Wrapper （RFE）3 Embedded3.3 代码示例3.3.1 导入包并读取数据import

原创 零基础入门金融NO2

原创 数据挖掘 - 贷款违约预测NO.1

数据挖掘 - 贷款违约预测一、赛题数据目标预测用户贷款是否违约数据来自某信贷平台的贷款记录，总数据量超过120w包含47列变量信息，其中15列为匿名变量。80万条作为训练集，20万条作为测试集A，20万条作为测试集B同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。(数据脱敏：为保护客户数据隐私，对某些敏感的数据进行变形达到敏感隐私信息的保护，是数据库安全技术的一种有效手段)字段表FieldDescription

原创 基于逻辑回归的分类预测

机器学习算法（一）: 基于逻辑回归的分类预测1 逻辑回归的介绍和应用1.1 逻辑回归的介绍逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于各个领域中。而对于逻辑回归而且，最为突出的两点就是其模型简单和模型的可解释性强。逻辑回归模型的优劣势:优点：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低；

原创 数据清洗与整理

VLOOKUPSUBSTITUDEDATEDIFMONTHYEARDATEHOURMINUTESECOND筛选，分列，查找和替换，数据格式转换

原创 查找

查找表考虑的基本数据结构第一类： 查找有无–set元素’a’是否存在，通常用set：集合set只存储键，而不需要对应其相应的值。set中的键不允许重复第二类： 查找对应关系(键值对应)–dict元素’a’出现了几次：dict–>字典dict中的键不允许重复第三类： 改变映射关系–map通过将原有序列的关系映射统一表示为其他算法应用LeetCode 349 Intersection Of Two Arrays 1题目描述给定两个数组nums,求两个数组的公共元素。如nums

原创 动态规划

动态规划主要思想动态规划模板步骤：例题详解Leetcode 300.最长上升子序列 为例子。第一步：确定动态规划状态第二步：写出一个好的状态转移方程第三步：考虑初始条件第四步：考虑输出状态第五步：考虑对时间，空间复杂度的优化（Bonus）Leetcode 674.最长连续递增序列第一步：确定动态规划状态第二步：写出状态转移方程第三步：考虑初始化条件第四步：考虑输出状态第五步：考虑是否可以优化总结Leetcode5. 最长回文子串第一步：确定动态规划状态第二步：写出状态转移方程第三步：考虑初始化条件第四步：考

原创 leetcode之分治算法

leetcode分治算法Pow(x, n)二级目录三级目录Pow(x, n) 实现 pow(x, n) ，即计算 x 的 n 次幂函数。示例 1:输入: 2.00000, 10输出: 1024.00000示例 2:输入: 2.10000, 3输出: 9.26100示例 3:输入: 2.00000, -2输出: 0.25000解释: 2-2 = 1/22 = 1/4 = 0.25说明:-100.0 < x < 100.0n 是 32 位有符号整数，其数值范围

原创 算法竞赛入门第一章

算法竞赛入门经典第一章计算并输出1+2的值#include<bits/stdc++.h>using namespace std;int main(void){ printf("%d\n",1+2); return 0;} 实验1：修改程序1-1，输出3-4的结果是−1实验2：修改程序1-1，输出5*6的结果是30实验3：修改程序1-1，输出8/4的结果是2实验4：修改程序1-1，输出8/5的结果是1计算并输出8/5的值，保留小数点后1位#include<bits

原创 解决 Excel 打开 UTF-8 编码 CSV 文件乱码

Excel 打开 UTF-8 编码 CSV 文件乱码的 BUG直接用 Excel 打开 UTF-8 编码的 CSV 文件会导致汉字部分出现乱码。打开 UTF-8 编码的 CSV 文件的方法：)直接用 Excel 打开 UTF-8 编码的 CSV 文件会导致汉字部分出现乱码。原因是 Excel 以 ANSI 格式打开，不会做编码识别。打开 UTF-8 编码的 CSV 文件的方法：1 ) 打开 Excel2 ) 执行“数据”->“自文本”3 ) 选择 CSV 文件，出现文本导入向导4

原创 Lasso回归

lasso回归1.利用lars函数实现lasso回归并可视化显示2.选取cp值最小时对应的模型，获取模型对应系数对于选取最小cp值对应的模型可以通过两种方式实现：（1）显示所有cp值，从中挑选最小的（2）直接选取最小的cp值3.选取cp值最小时对应的模型系数4.获取截距的系数Lasso回归又称为套索回归，是Robert Tibshirani于1996年提出的一种新的变量选择技术。Lasso是一种收缩估计方法，其基本思想是在回归系数的绝对值之和小于一个常数的约束条件下，使残差平方和最小化，从而能够产生某些严

原创 碎石图R语言实现

主成分分析R软件实现程序（一）：>d=read.table(“clipboard”,header=T) #从剪贴板读取数据>sd=scale(d) #对数据进行标准化处理>sd #输出标准化后的数据和属性信息，把标准化的数据拷贝到剪贴板备用>d=read.table(“clipboard”,header=T) #从剪贴板读取标准化数据>pca=princomp(d,cor=T) #主成分分析函数>screeplot(pca,type=”lin

原创 路漫漫其修远兮，吾将上下而求索 fbprophet

安装包真心累1,pip install fbprophet 报错2.conda install fbprophet 报错3.conda install -c conda-forge fbprophet 报错4.conda install fbprophet -c conda-forge