- 博客(40)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 西湖大学自然语言处理（十一）—— 分类
西湖大学自然语言处理（十一）—— 分类分类和聚类分类和聚类聚类分类核心将数据分成簇从已经分组好的数据中训练得出目标函数，把新数据放到已经分好的组中学习类型无监督学习有监督学习典型算法K-means,DBSCAN ,层次聚类，光谱聚类决策树,贝叶斯,逻辑回归算法输出聚类结果并不确定，不一定能够反映数据的真实分类，同样的聚类，对于不同的需求，可能好也可能坏分类结果是确定的，分类的优劣是客观的，不根据业务或算法需求而定...
2022-04-05 22:20:36
2129
原创 K-邻近算法
K-邻近算法K-邻近算法概述手写KNN算法示例：使用K-邻近算法改进约会网站的配对效果示例：手写识别系统K-邻近算法概述KNN采用测量不同特征值之间的距离方法进行分类。优点：精度高、对异常值不敏感、无数据输入假定缺点：计算复杂度高、空间复杂度高适用数据范围：数值型和标称型工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算
2022-03-31 11:17:40
2439
原创 西湖大学自然语言处理（十）—— 聚类
西湖大学自然语言处理（十）—— 聚类Measure vector space distanceClusteringK-means clusteringMeasure vector space distanceClusteringK-means clustering关于K-means更详细的介绍，可以参考我的这篇博客https://blog.csdn.net/qq_45645521/article/details/123040810...
2022-03-31 11:04:58
588
原创 西湖大学自然语言处理（九）—— 特征向量和如何将文档映射到特征空间中
西湖大学自然语言处理（九）—— 特征向量和如何将文档映射到特征空间中Feature VectorReview Navie BayesFeature vectorsVector Space ModelVector representation of documentsSparse vectors document representationStop wordsTF-IDF vectors document representationSummaryFeature VectorReview Navie B
2022-03-31 10:43:01
1097
原创 西湖大学自然语言处理（八）——朴素贝叶斯文本分类
西湖大学自然语言处理（八）—— 朴素贝叶斯文本分类Text classification under MLEThe Bayes ruleNaive Bayes model parameterisation processTraining a Navie Bayes classifierNavie Bayes text classificationGenerative modelsEvaluating a Text ClassifierFeatures in NLP贝叶斯公式推导Text classific
2022-03-31 09:53:01
1926
1
原创 西湖大学自然语言处理（七）—— 解决OOV问题的两种平滑技术
西湖大学自然语言处理（七）—— 解决OOV问题的两种平滑技术Knesser-Ney Smoothingabsolute discount smoothingGood-Turing Smoothing平滑的目的——解决数据稀疏性的问题Knesser-Ney Smoothing核心思想——劫富济贫absolute discount smoothing公式：P(w∣u)=max(uw∈D−δ,0)∑w′uw′+λPKN(w)P(w|u)=\frac {max(uw\in D-\delta , 0)}
2022-03-29 21:00:54
1225
原创 西湖大学自然语言处理（四）—— 机器学习视角下的自然语言处理
西湖大学自然语言处理（四）—— 机器学习视角下的自然语言处理对于一个新的自然语言处理任务进行建模的时候，我们需要考虑三个属性，分别是语言属性，机器学习属性以及数据属性。以命名实体识别为例，从机器学习角度来看这是一个序列标注的问题，给定一段文本，我们需要看文本中的哪些是命名实体，并给它们打上标签。（决定作用）从语言学角度来看，命名实体的特征是什么？首字母大写？又或者是上下文关系？从数据属性来看，如果有人工标注的数据，影响方法选择从机器学习的角度来对自然语言处理任务进行分类：第一种分类标准：
2022-03-29 10:07:00
273
原创 西湖大学自然语言处理（六）—— 语言模型
西湖大学自然语言处理（六）—— 语言模型语言模型一元语言模型二元语言模型三元语言模型生成模型语言模型语言模型(LM)通过更简单的模式来度量自然语言句子的概率一元语言模型估算每个词在语料库中的概率，以此来获得一句话的概率存在问题及解决方法：二元语言模型Unigram语言模型在比较“他吃了披萨”和“他喝了披萨”时存在问题，这需要动词-宾语关系存在问题及解决办法：三元语言模型解决稀疏问题的方法：为什么用对数概率？生成模型马尔可夫模型...
2022-03-28 16:50:30
464
原创 机器学习2022笔记（二）—— 机器学习基本概念
机器学习基本概念机器学习的定义机器学习的分类分类回归Structured Learning机器学习的过程机器学习的定义Machine Learning ≈ Looking for Function机器学习的分类分类回归Structured LearningCreat something with structure——image or document机器学习的过程写出一个带有未知参数的函数表达式定义来自训练数据的loss最优化问题局部最优与全局最优——一个假问题
2022-03-19 11:18:34
807
原创 西湖大学自然语言处理（五）—— 概率模型
西湖大学自然语言处理（五）—— 概率模型模型模型的定义概率模型的定义概率语言模型举例极大似然估计建模过程推导过程专业术语从概率模型到概率语言模型概率分布专业术语概率分布模型模型的定义从数学意义上而言，模型是对一个特定任务或者事件的抽象和简化，这种方法使数学计算可行。概率模型的定义计算一个随机事件的概率概率语言模型举例计算词和句子出现的概率极大似然估计建模过程说明：（i,i,d）（i,i,d）（i,i,d）—— 独立同分布推导过程专业术语从概率模型到概率语言模型概率分
2022-03-19 10:47:39
1449
原创 A Self-boosting Framework for Automated Radiographic Report Generation
A Self-boosting Framework for Automated Radiographic Report Generation模型概述模型整体架构模型详解模型概述这篇Paper提出一种自增强框架来改进放射学报告的生成。该框架包含两个分支：主任务——报告生成，辅助任务——图文匹配。这两个任务以相互合作的方式互相影响。一方面，图像文本匹配分支有助于为报告生成分支学习与文本高度相关的视觉特征，从而输出高质量的报表。另一方面，由报告生成分支生成的改进报告为图像-文本匹配分支提供了额外的更难的样本，
2022-03-17 10:55:10
4196
原创 西湖大学自然语言处理（三）——自然语言处理任务介绍
西湖大学自然语言处理（三）——自然语言处理任务介绍Fundamental NLP tasksSynatactic tasks（句法分析任务）Word LevelSentence levelSemantic tasks（语义分析任务）Word levelSentence levelText entailment（自然语言推理）Discourse tasks（篇章分析）Information Extraction tasksEntitiesNamed entity recognition（命名实体识别）Anap
2022-03-16 09:14:24
891
原创 Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation
Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation（探索和提炼后验和先验知识的放射学报告生成）先验与后验目前的放射学报告生成的局限性Paper的贡献模型详解模型输入模型主要部分先验与后验在阅读这篇Paper之前，我们首先需要明确什么是先验和后验。先验是指根据以往经验和分析，而后验是指基于新的数据，对原来的先验修正。通俗而言，先验知识：这些柿子红了，肯定已经熟了后验知识：我刚刚吃
2022-03-15 08:37:18
1608
2
原创 西湖大学自然语言处理（二）——自然语言处理及发展历程
自然语言处理及发展历程什么是自然语言处理自然语言处理发展历程Rule-based(symbolic) approach(1950s-1980s)Statistical approach (traditional machine learning)(1980s-2000s)Connectionist approach(Neural networks)(2000s-now)什么是自然语言处理In the broadest sense,NLP refers to any program that autom
2022-03-14 23:15:02
646
原创 西湖大学自然语言处理（一）—— 课程简介及大纲
课程简介及大纲自然语言处理概述课程特点课程内容概述基础结构神经网络自然语言处理概述Natural Language Processing （NLP）A sub field of Al（人工智能子领域）On automatic understanding and generation of human languages（人类语言的自动理解和生成）Has evolved since the early days of computer science（从计算机科学的早期发展至今）Fast adv
2022-03-14 14:19:49
874
原创 机器学习2022笔记（一）—— 机器学习相关规定
机器学习相关规定什么是机器学习教机器学习的种种方法进阶课题什么是机器学习Looking for Function（寻找函数）Speech Recognition（语音辨识）Image Recognition（图像识别）Playing Go（类似于阿尔法狗）Different types of Functions（不同类型的函数）输入形式的多样性Vector（向量）Matrix（矩阵）Sequence（序列）输出形式的多样性scalar（数字）—— regress
2022-03-14 13:48:29
1072
原创 线性代数（一）—— 行列式
线性代数（一）—— 行列式引言二阶三阶行列式N阶行列式N阶行列式计算行列式的性质性质一 转置性质二 两行互换性质三 两行相同性质四 行公因子k性质五 两行成比例性质六 和分解性质七 行叠加行列式值计算通用法行列式展开余子式代数余子式降阶：行列式按某一行/列展开异乘变零定理拉普拉斯定理拉普拉斯展开定理同阶行列式相乘行列式的计算纯数字行列式计算已知行列式求余子式之和对角线为x，其余为a的行列式计算技巧行列式计算基础思路三叉形行列式范德蒙德行列式反对称行列式对称行列式克莱姆法则解方程组解齐次线性方程组引言本专
2022-03-14 10:54:21
3411
原创 Kmeans均值聚类算法
Kmeans均值聚类算法Kmeans白话理解Kmeans原理详解聚类与分类原理介绍工作流程评价指标Kmeans代码实现聊一聊Kmeans的缺点及优化Kmeans白话理解Kmeans，又作K-means，顾名思义，K均值聚类算法。Kmeans算法将数据集分为K个簇，使每个簇簇内距离小，簇间距离大。Kmeans原理详解聚类与分类聚类，是将一堆没有标签的数据分成几簇，我们并不关心这一类是什么，我们关心的仅仅只是把相似的目标聚在一起分类，是将一些给定的打好标签的数据，训练得到某种目标函数，在一个新的数据
2022-02-21 10:46:02
7616
1
原创 关于修改双系统默认启动项设置
关于修改双系统默认启动项设置1.进入Ubuntu系统中，打开终端，输入以下命令：sudo gedit /etc/default/grub会出现如图所示的界面2.我的Windows启动项是第三项，则在弹出的页面第六行设置：GRUB_DEFAULT = 2；把原来默认的0改为2就好。这里需要说明一下，0表示UBuntu系统，第三个Windows系统用2表示，大家视自己启动选项而定3.修改完毕后，终端输入：sudo update-grub完成后重启系统，默认就进入Windows了..
2022-02-15 10:23:11
2568
1
原创 关于无法在驱动器0分区上安装Windows
关于Win11和Ubuntu20.04时间同步聊一聊问题描述解决措施聊一聊最近一直忙着给自己的电脑重装系统，笔记本的很好装，正常的装机步骤一步一步来就OK了，但是在给台式机Win7升级到Win10的时候，用的U盘重装系统，遇到了“无法在驱动器0的分区1上安装Windows”这一问题，通过一系列的操作后，成功删除自己的系统，电脑变成了裸机，但是，最后又通过一些数据恢复软件将Win7 里面的数据全部恢复出来，算是有惊无险问题描述在重装系统的时候遇到“无法在驱动器0的分区1上安装Windows”这一问题
2022-02-12 21:59:50
3639
原创 Windows深度学习环境配置——Anaconda（Tensorflow）
配置过程1. 下载Anaconda博主选择的是香饽饽——清华镜像，网址放下面，喜欢的小伙伴自取：清华大学开源软件镜像站页面如下图所示，选择anaconda进入选择archive/进入选择最新的anaconda版本进行安装，博主选择的是Anaconda3-2021.05-Windows-x86_64.exe点击下载2. 安装Anaconda点击自己下载的exe文件，出现如图所示的界面点击I Agree点击Next更改安装路径，别安装在C盘哦~点击Next两个都勾选上
2022-02-11 10:57:39
2081
2
原创 Windows深度学习环境配置——Anaconda(Pytorch)
配置过程下载安装Anaconda，这一步骤在上一篇的《深度学习框架搭建——Anaconda（Tensorflow的配置）》中已经详细说完，链接放在下面，需要的小伙伴自取；深度学习框架搭建——Anaconda(Tensorflow的配置)配置Pytorch环境创建新的虚拟环境，命令如下：conda create -n pytorch python=3.7在Anaconda Prompt中输入，会让你选择yes or no输入y即可出现这个即表示环境创建完成。依然，这只是一个P
2022-02-11 10:56:01
1572
原创 关于Win11和Ubuntu20.04时间同步
关于Win11和Ubuntu20.04时间同步Win11与Ubuntu20.04时间不同步原因解决方法Win11与Ubuntu20.04时间不同步原因Win11与Ubuntu采用的时间设置不一样，Windows11采用的是LocalTime机制，把BIOS中的时间（存储在电脑主板里的时间）作为本地时间，所以WIndows11与BIOS中的时间是保持一致的Ubuntu采用的是一种UTC机制，默认BIOS中的时间为GMT（格林尼治时间），本地时间会在格林你只时间基础上，加上当前所在时区数，由于国内采用的东
2022-02-11 10:47:49
3891
1
原创 UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning
UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning（通过跨模态对比学习实现统一模态的理解和生成）1.现有方法的不足：目前的方法要么只能专注于单模态的任务，要么只能专注于多模态任务，而不能将这二者有机地统一在一起互相补充2.创新点：提出UNIMO这一统一模态的预训练架构，可以有效地适应单模态和多模态的理解和生成任务。预训练可以包含三部分：单一的image、单一的te
2022-01-22 23:52:08
3446
原创 关于对比学习在医学图像理解中两篇Paper的思考
Contrastive Learning of Medical Visual Representations From Paired Images And Text成对图像和文本中医学视觉表征的对比学习创新点： 只需要10% ImageNet的labeled data就能达到同样的或者更好的效果模型解释： 提出了ConVIRT模型——一个通过利用图像和文本数据的自然配对来学习visual representation的框架a) 输入成对的Image和Reportb) 以图像为例，通过采样变换函数
2022-01-11 21:52:00
4687
2
原创 动手学深度学习（二）—— 线性代数
动手学深度学习（二）—— 线性代数标量由只有一个元素的张量显示import torchx = torch.tensor([3.0])y = torch.tensor([2.0])print(x + y)print(x * y)print(x / y)print(x**y)'''输出结果：tensor([5.])tensor([6.])tensor([1.5000])tensor([9.])'''你可以将向量视为标量值组成的列表x = torch.arange(4)p
2022-01-11 21:17:27
678
1
原创 数电实验（七）——简易频率计
写在前面的话很开心大家能够持续关注我这个CSDN小透明，上一周比较忙，就少更了一期的数电实验，结果，好多小伙伴都私信问我，还有小伙伴跑去爬虫系列文章评论区去蹲第七次数电实验，感觉受宠若惊。哈哈哈哈哈，这不来了嘛，第七次数电实验来了~这就安排上往期文章：数电实验（四）——四位乘法器数电实验（五）——ROM设计数电实验（六）——信号发生器简易频率计本次实验依旧不会一步一步地展示怎么做，不会的小伙伴请自行参考往期文章（其实就是我懒~ 略略略）以下是关键步骤：一.明确本次实验的实验要求：1.通过
2021-06-15 11:43:53
4989
19
原创 爬虫与数据分析（三）
好久不更爬虫与数据分析系列的文章了最近学妹拜托我帮她完成了一份爬虫大作业借着这个机会，更一期的爬虫与数据分析主题是非常常见的爬取豆瓣读书与豆瓣电影博主发现一个非常有意思的现象，去年学习爬虫的时候，练手豆瓣读书与豆瓣电影时，爬取还挺容易的，反爬措施也没有那么强~今天我在爬取的时候，大概只请求了几次，好家伙直接给我IP封了，像这样：IP代理的话，我还在学习，不太会整，然后用了一个非常巧妙的fake-UserAgent库随机产生请求头，模拟浏览器的请求，欺骗豆瓣的后台，这样果真可以实现数据的爬取
2021-06-10 21:56:26
906
6
原创 数电实验（六）—— 信号发生器
本次实验不再做详细的基本步骤演示关于一些基本步骤的演示，请参考我的Blog：数电实验（四）——四位乘法器数电实验（五）——ROM设计实验六的任务：1.配置宽度为8位的ROM，并在ROM中存储256个地址的正弦波数2.用PLL生成100M时钟作为计数器计数脉冲，计数器输出作为地址读取ROM内容3.将正弦波信号通过DA模块（AD9708）转换为模拟信号，通过示波器显示波形附加题：利用控制开关控制波形切换，比如当拨动开关设置为0时，输出正弦波，当拨动开关置为1时，输入三角波。提示：可以用VHDL语
2021-06-01 11:39:28
6598
7
原创 数电实验（五）——ROM设计
实验要求：配置宽度为８位的ROM，并在ROM中存储２５６个地址的正弦波数，利用系统时钟作为计数器计数脉冲，计数器输出作为地址读取ROM内容，将读取的数据通过FPGA查看实验步骤：1.打开Quartus,如图所示，创建一个新的工程文件更改存储路径以及给工程命名点击next;继续next;根据自己的开发板选择芯片型号，笔者用的是EP3C6F484C6，所以选择该芯片的型号，然后next;继续next;点finish;即完成一个工程文件的创建2.编写相关的程序；主要分为三个部分
2021-05-25 11:48:10
7346
9
原创 数电实验（四）——四位乘法器
1.打开Quartus，create a new project（笔者用的Quartus是9.1版本）2.点击next:3.更改工作路径以及给Project命名4.点击next5.配置FPGA相关参数6.一路next，最后finish最后可能会有一个弹窗弹出，点击确定就好.7.最后界面如图：8.新建一个VHDL文件点击File→new在弹窗中选择，VHDL File，点击OK最终界面如图：9.编写VHDL程序点击Ctrl+S保存点击保存。点击Pro
2021-05-18 16:49:34
4251
3
原创 层次聚类算法
层次聚类算法概要层次聚类方法实例实验源码概要层次聚类方法将数据对象组成一颗聚类树根据层次分解是以自底向上（合并）还是自顶向下（分裂）方式，层次聚类方法可以进一步分为凝聚和分裂的层次聚类方法凝聚层次聚类：采用自底向上策略，首先将每个对象作为单独的一个原子簇，然后合并这些原子簇形成越来越大的簇，直到所有的对象都在一个簇中（层次的最上层），或者达到某个终止条件。绝大多数层次聚类方法属于这一类分裂层次聚类：采用自顶向下策略，首先将所有对象置于一个簇中，然后逐渐细分为越来越小的簇，直到每一个对象自成
2021-03-14 10:18:09
4348
5
原创 K-medoids中心聚类算法
K-medoids中心聚类算法K-medoids聚类算法的基本思想K-medoids算法步骤实验源码结果展示Medoid在英文中的意思为“中心点”所以，K-Medoids算法又叫K-中心点聚类算法与K-means有所不同的是：K-medoids算法不采用簇中对象的平均值作为参照点，而是选用簇中位置最中心的对象，即中心点作为参照点那么问题来了，该怎么找聚类对象中的代表对象，也就是中心点呢？首先为每个簇随意选择一个代表对象，剩余的对象根据其与代表对象的距离分配给最近的一个簇；然后反复地用非代表对象的距
2021-03-10 20:18:22
12184
13
原创 机器学习（一）—— K-means均值聚类算法
一.K-means均值聚类算法原理对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇。让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。如果用数据表达式表示，假设簇划分为(C1,C2,…Ck)，则我们的目标是最小化平方误差E：其中μi是簇Ci的均值向量，有时也称为质心，表达式为：*二.K-means均值聚类算法步骤：数据样本间的相似性度量：欧式距离评价聚类性能的准则函数：最小误差准则函数输入：簇的数目k和包含n个对象的数据库输出：k个簇，使平方误差准则最小设置初始类别
2021-03-07 12:51:13
5743
7
原创 爬虫与数据分析（二）
大家新年好！这是第二期的爬虫与数据分析啦，很高兴新年里与大家再次见面！本次要实现的爬虫功能是：爬取bilibili的弹幕，并把爬取的弹幕写入到excel中首先，上B站找一个自己喜欢的视频，且弹幕量比较多的（博主最近迷上了星辰大海，so……理所当然了，哈哈哈哈哈，真的很好听！）视频的地址：https://www.bilibili.com/video/BV1my4y1n7fw?from=search&seid=12597893681774837581好家伙！足足有756条的弹幕，看的出来，
2021-02-15 11:39:22
2700
原创 爬虫与数据分析（一）
利用爬虫获取某地1月份的天气情况（最高温度和最低温度），并作出相关的曲线图实现思路：1.首先，利用requests模块对url发送请求# 定义url和请求头url = 'http://tianqihoubao.com/lishi/xian/month/202101.html'headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Ch
2021-02-03 22:23:00
1017
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人