![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
三丫丫哦
THU自动化专业在读硕士
e-mail: yyy_1997_sjz@126.com
github: https://github.com/yyysjz1997
kaggle: https://www.kaggle.com/yyysjz
website: https://yyysjz1997.github.io/
展开
-
基于NLP的COVID-19虚假新闻检测
基于NLP的COVID-19虚假新闻检测摘要全文约2400字,建议阅读时间7分钟。本文为大家介绍了基于自然语言处理的COVID-19虚假新闻检测方法以及可视化方法,并结合真实的新闻数据集以及完整的代码复现了检测以及可视化的过程。最近有这样一则新闻:一半的加拿大人被COVID-19的阴谋论所愚弄,这个新闻真的令人心碎。世界卫生组织(WHO)称,与COVID-19相关的信息流行病与病毒本身同样危险。同样地,阴谋论、神话和夸大的事实可能会产生超出公共健康范围的后果。多亏了Lead Stories,Poy翻译 2020-06-28 22:09:58 · 15150 阅读 · 7 评论 -
《数字图像处理》手动实现修正的α均值滤波+手动实现自适应中值滤波器
1 修正的α均值滤波实现1.1 修正的α均值滤波原理假设在邻域S_xy内去掉g(x,t)最低灰度值的d/2和最高的灰度值的d/2。令g_r (x,t)代表剩下的mn-d个像素。由这些剩余的像素的平均值形成的滤波器就称为修正的α均值滤波器:其中,d的取值范围可以为0到mn-1。当d=0时,修正的α均值滤波器退化为算术均值滤波器。如果选择d=mn-1,则修正的α均值滤波器将退化为中值滤波器。当d取其他值时,修正的α均值滤波器在包括多种噪声的情况下很有用。例如高斯噪声和椒盐噪声混合的情况下。1.2 实验原创 2020-06-27 14:12:27 · 12411 阅读 · 14 评论 -
《数字图像处理》手动实现最佳陷波滤波
1 最佳陷波滤波实现1.1 最佳陷波滤波原理及步骤最佳陷波滤波的可以良好地处理一个以上的干扰分量或者多个周期性的噪声,相比于其他的滤波方法,最佳陷波滤波可以最小化复原的估计值f ̂(x,y)的局部方差。最佳陷波滤波可以分为两步:屏蔽干扰的主要成分,然后从被污染的图像中减去该模式的一个可变的加权部分。首先第一步是提取干扰模式中的主频率分量。空间域中的噪音的相对模式可由下式获得:H_NP (u,v)的形式需要多方面判断哪些是噪声干扰等。第二步是从被污染的图像中减去该模式的一个可变的加权部分,其用公原创 2020-06-27 14:03:03 · 16728 阅读 · 51 评论 -
《数字图像处理》DFT(离散傅里叶变换)及HF(同态滤波)的实现
DFT及HF的实现1 DFT(离散傅里叶变换)的实现1.1 DFT(离散傅里叶变换)的定义及原理对于基于图像的傅里叶变换(二维离散傅里叶变换)的过程如下:首先对于每一行都做一维的傅里叶变换,然后对于每一列做一维的傅里叶变换。具体来说,先对于第1行的N个点做傅里叶变换(实部有值,虚部为0),将变换输出的实部放回原来第1行的实部,将输出的虚部放回第1行的虚部,这样计算完成全部的行之后,图像的实部和虚部包含的是中间数据,然后用相同的办法进行列方向上的相同的傅里叶变换,这样大小为MN的图像经过DFT就得到了一原创 2020-06-27 13:53:18 · 14777 阅读 · 15 评论 -
《数字图像处理》Learn about Superpixel 超像素介绍 非深度学习方法
Learn about Superpixel 超像素1 超像素简介前些年图像分割领域用的较多的“分水岭算法”,在作业中我自己学习了另外一种目前在图像分割领域用的较多的算法——超像素分割算法,通过查阅“超像素”的定义以及基于超像素的图像分割的算法的工作步骤,我熟悉了这一领域,最后我通过阅读SLIC(simple linear iterative clustering,简单线性迭代聚类)这一经典的超像素分割方法进一步熟悉了超像素领域。2003 年,任晓峰教授在图像分割技术层面上提出了超像素分割的这一概念,原创 2020-06-27 13:45:42 · 12863 阅读 · 0 评论 -
《数字图像处理》共生矩阵及其描述子+不变矩 Texture Descriptors
共生矩阵及其描述子 Texture Descriptors1 共生矩阵及其描述子的计算1.1 共生矩阵原理及其描述子表达式共生矩阵统计了灰度图中像素间的灰度值分布规律,并借此区分不同的纹理。 灰度共生矩阵中每个元素的值可以定义为(x,y)点与(x+dx,y+dy)点的值对为(i,j)的概率。统计整幅图像中每一种灰度值组合出现的概率矩阵 P 即为灰度共生矩阵。参考实验PPT中助教给的实例来解释共生矩阵,如图所示:这里考虑的是水平方向的共生矩阵的结果。具体来看,由于(1,1)只出现1次,所以共生矩阵第原创 2020-06-27 13:37:23 · 13086 阅读 · 12 评论 -
有关宾大1900页数学书笔记的更新说明
由于我的研究生课题以及其他的项目,所以这本笔记:宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》的笔记可能会停止更新一段时间了,希望我们可以多多交流,等我忙完以后继续每天更新,每天学习,每天笔记~大家如果喜欢这个笔记,或者对于这本书感兴趣可以随时联系我,私聊我,或者用e-mail和我联系:yyy_1997_sjz@126.com 。...原创 2020-06-13 15:28:42 · 10254 阅读 · 0 评论 -
笔记:宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第十节
3.10 第三章知识和定义的总结下面是一些第三章的关键概念和结论:向量空间的概念向量的集合、簇向量的线性组合;线性独立和线性相关线性子空间生成空间,有限生成子空间;子空间的基任意线性独立的向量集合都可以扩展成一个基置换引理当且仅当一个向量集是在空间中最大的线性独立的向量集而且最小的生成集合,那么他就是空间的一组基任意的两个可生成有限线性空间的基有相同的维度超平面每个向量在一组基上都有唯一的表示(根据它的坐标)矩阵列向量、行向量矩阵计算:加法、标量乘法、矩阵乘法线性映射的概念原创 2020-06-13 15:17:45 · 10314 阅读 · 2 评论 -
笔记:宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第九节
3.9 线性形式和对偶空间定义3.26 对于一个给定的向量空间 EEE ,线性映射 E→KE \rarr KE→K 对应的向量空间 Hom(E,K)Hom(E,K)Hom(E,K) 被称为 EEE 的对偶空间(dual space),可以表示为 E∗E^*E∗ ,同时在 E∗E^*E∗ 中的线性映射被称为线性形式(linear forms)或者余向量(covectors)。 E∗E^*E∗ 对应的对偶空间 E∗∗E^{**}E∗∗ 被称为 EEE 的二次对偶(bidual)。我们也可以将线性形式 f:原创 2020-06-13 15:16:32 · 10330 阅读 · 0 评论 -
笔记:宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第八节
3.8 商空间(Quotient Spaces)我们令 EEE 为向量空间,并令 MMM 为其任意一个子空间。在子空间 MMM 上我们定义一个关系 ≡M\equiv_M≡M ,其定义如下:对于任意的 u,v∈Eu,v \in Eu,v∈E ,有u≡Mvu \equiv_M vu≡Mv当且仅当 u−v∈Mu-v \in Mu−v∈M。基于上面的关系,我们有一下的性质:命题3.19 对于给定的向量空间 EEE,并令 MMM 为其任意一个子空间,关系 ≡M\equiv_M≡M 具有下面两个同原创 2020-06-13 11:23:18 · 10257 阅读 · 0 评论 -
笔记:宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第七节
3.7 线性映射下面我们希望可以将一个向量空间转换为另一个向量空间。保持向量空间结构的两个向量空间之间的函数称为向量空间的同态(homomorphism)或线性映射(linear map)。线性映射形式化了函数线性的概念定义3.18 对于两个向量空间 EEE 和 FFF ,一个在 EEE 和 FFF 间的线性映射(linear map)可以表示为函数 f:E→Ff:E \rarr Ff:E→F ,并且其满足以下两个条件:对于所有的 x,y∈Ex,y\in Ex,y∈Ef(x+y)=f(x)+f(原创 2020-06-09 10:43:41 · 10150 阅读 · 0 评论 -
笔记:宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第六节
3.6 矩阵下面,我们将精确地定义矩阵并介绍一些关于矩阵的运算。矩阵构成了一个向量空间,它具有结合律,但非交换律的乘法运算。定义3.12 如果 K=RK=\RK=R 或者 K=CK =CK=C ,一个在 KKK 上的 m×nm \times nm×n 的矩阵maxtrix 是由 KKK 上的标量簇 (aij)1≤i≤m,1≤j≤n(a_{ij})_{1 \le i \le m,1 \le j \le n}(aij)1≤i≤m,1≤j≤n 组成的,其可以表达为如下形式:(a11a12⋯a1na21a原创 2020-06-08 14:22:09 · 10129 阅读 · 0 评论 -
笔记:宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章(已完结,总)
3.1 线性组合、线性独立、秩在 nnn 维中,我们可以这样定义线性组合(linear combination):x1u+x2v+x3w+...+xnz{ x_1u+x_2v+x_3w+...+x_nz}x1u+x2v+x3w+...+xnz其中,uuu , vvv , www … zzz 均为 nnn 维向量,即Rn×1\R^{n\times1}Rn×1,xi(i=1,2,3…,n)x_i (i = 1,2,3…,n)xi(i=1,2,3…,n) 均为在 R\RR 上的变量(原创 2020-06-06 13:10:36 · 10711 阅读 · 0 评论 -
笔记:宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第五节
3.5 向量空间的基(bases)在上一节中我们可以了解到,在一个向量空间 EEE 中,任何一个其内的线性组合以及零向量的子空间都可以视为向量空间 EEE 的子空间,所以我们可以使用这些线性组合来表示整个向量空间 EEE ,但是这样会产生较大的冗余,而如何使用较少的、有效的向量表达整个向量空间就是一个亟待解决的问题。这里我们定义向量空间的基(base)这一定义。定义 对于一个向量空间 EEE 以及它的子集 VVV ,带有索引的集合 (vi)i∈I(v_i)_{i \in I}(vi)i∈I 对应于空原创 2020-06-06 10:50:26 · 10317 阅读 · 0 评论 -
笔记:宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第四节
3.4 线性独立,子空间表示向量空间的主要方法是使用一组基(base)的线性组合表示对应向量空间中的所有向量,即对于一个向量空间 EEE ,其中的每一个向量 v∈Ev \in Ev∈E 都可以写为以下形式:v=λ1e1+...+λnenv = \lambda_1e_1+...+\lambda_ne_nv=λ1e1+...+λnen其中 {e1,..en}\{e_1,..e_n\}{e1,..en} 为一组基,其中的系数 (λ1,…,λn)(\lambda_1,…,\lambda_n)(原创 2020-06-04 10:38:04 · 10505 阅读 · 0 评论 -
笔记:宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第三节
3.3 索引及求和符号 Σ\SigmaΣ索引集(index set)的主要功能是唯一地、有顺序地标记每一个元素。定义 对于集合 AAA ,他的索引集(III-indexed family)可以表示为函数 a:I→Aa: I \rarr Aa:I→A , 即{(i,a(i))∣i∈I}\{ (i,a(i)) | i \in I \}{(i,a(i))∣i∈I}其中 a(i)∈Aa(i) \in Aa(i)∈A 。我们可以将此视为一组关于原集合 AAA 的数据对。通常我们为了书写简单,进行以下的原创 2020-06-02 20:34:21 · 10293 阅读 · 0 评论 -
笔记:宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第二节
3.2 向量空间在1900年初,向量空间(Vector Spaces)概念作为适用于线性对象的概念就已经被提出,这一节我们将讨论它。Note:向量空间不仅仅是一个代数的内容,也可以使用几何来解释。下面是向量空间的定义:对于一个区域 KKK (可以在其中进行加法和乘法的运算),那么区域 KKK 的向量空间(KKK-vector space)和集合 EEE (满足vector addition: E×E→EE \times E \rarr EE×E→E 以及scalar multiplication K原创 2020-06-01 21:40:56 · 10364 阅读 · 0 评论 -
笔记:宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第一节
3.1 线性组合、线性独立、秩在 nnn 维中,我们可以这样定义线性组合(linear combination):x1u+x2v+x3w+...+xnz{ x_1u+x_2v+x_3w+...+x_nz}x1u+x2v+x3w+...+xnz其中,uuu , vvv , www … zzz 均为 nnn 维向量,即Rn×1\R^{n\times1}Rn×1,xi(i=1,2,3…,n)x_i (i = 1,2,3…,n)xi(i=1,2,3…,n) 均为在 R\RR 上的变量(原创 2020-05-31 18:43:03 · 11171 阅读 · 1 评论 -
kaggle等算法比赛的合奏方法Ensemble(全)
第一种(多输出回归问题)import numpy as np # linear algebraimport pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)from scipy.stats import modeimport pandas as pd# Input data files are available in the "../input/" directory.# For example, running原创 2020-05-31 18:19:54 · 10543 阅读 · 0 评论 -
python中os包的用法
1 创建目录以及判断是否存在,如果不存在则创建import os# 创建的目录path = "yyy"if not os.path.exists(path): os.makedirs(path) os.path.exists('d:/assist/getTeacherList.py') #True or False2 输出文件夹中的子文件夹以及文件import osfilePath = 'E:\BaiduNetdiskDownload\data\人工锄地'f原创 2020-05-31 18:16:26 · 11089 阅读 · 0 评论 -
panda处理Excel文件代码(汇总)
import pandas as pd#excel文件和pandas的交互读写,主要使用到pandas中的两个函数,一个是pd.ExcelFile函数,一个是to_excel函数#使用pandas读取excel文件file=pd.ExcelFile('lalla.xls')#显示所有的sheet的名字print(file.sheet_names)#显示第1个的sheet的名字print(file.sheet_names[0])#读取第1个的she...原创 2020-05-31 18:11:35 · 10723 阅读 · 0 评论 -
python基本数据类型——字典(dictionary)
1.1 读出字典中的所有值的两种方法代码:(推荐第二种)spam = {'A':123 ,'B':345,'C':345 }for k,v in spam.items(): print(k,v)spam = {'A':123 ,'B':345,'C':345 }for k in spam: print(k,spam[k])1.2 具体的字典使用方法代码:(有注释)import numpy as np#新建数组(因为项目需要,字典...原创 2020-05-31 18:09:28 · 10239 阅读 · 0 评论 -
手把手教你推导决策树算法
本文为大家介绍了机器学习中常用的决策树算法以及相关术语,并基于天气数据集进行决策树算法(ID3、CART算法)实现过程的手动推导。原文标题:Decision Tree Algorithm With Hands On Example原文链接:https://medium.com/datadriveninvestor/decision-tree-algorithm-with-hands-on-example-e6c2afb40d38作者:Arun Mohan决策树是最重要的机器学习算法之一,翻译 2020-05-31 17:54:19 · 10578 阅读 · 0 评论 -
SVP——一种用于深度学习的高效数据选择方法
作者:Cody Coleman, Peter Bailis, and Matei Zaharia时间:2020年4月23日摘要:全文约1800字,建议阅读时间为7分钟。本文主要介绍了SVP方法。作为一种用于深度学习的数据选择方法,其可以在保证识别准确率的同时,有效地提高深度学习中的计算效率。例如,在主动学习中,SVP的运行速度最多可提高到基础的41.9倍,同时误差没有显著增加,这对于深度学习中提高模型训练速度来说是一个有效的方法。在许多任务中我们会面对海量的有效数据来训练深度网络,那么在实...翻译 2020-05-31 17:47:08 · 11536 阅读 · 0 评论 -
csdn博客转移到github的博客中
终于在github上开通了我的博客,也算有了自己的id吧,以后再CSDN上面写博客就少了,转移到github上了!我的新博客的地址:https://yyysjz1997.github.io/,大家有空去踩踩哦~...原创 2019-07-28 22:40:43 · 10377 阅读 · 1 评论 -
python调试方法(随时更新)
Python 调试方法1、printprint('here')# 可以发现某段逻辑是否执行# 打印出变量的内容2、assertassert false, 'wrong'# 如果条件不成立,则打印出 'wrong' 并抛出AssertionError异常3、debugger可以通过 IDE 等工具进行调试。4、othersPython 中有两个内置方法在这里...原创 2019-03-22 22:37:34 · 10075 阅读 · 0 评论 -
MOOC 北京大学 《人工智能实践》 课程笔记(文末有全部代码)
MOOC《人工智能实践》Peking University 笔记参考资料:https://www.icourse163.org/learn/PKU-1002536002?tid=1002700003#/learn/announcehttps://github.com/cj0012/AI-Practice-Tensorflow-Noteshttps://tensorflow.google.cn...原创 2019-03-04 21:28:28 · 9609 阅读 · 2 评论