yingdajun的博客

比较简单的语音识别问题是通过语音识别声源的情感、类型、属于谁，属于分类问题，因此则可以转化为分类问题。下面以常用的CASIA语音数据集识别作为例子，总结一下语音识别的总流程。数据集文档是这样的：导入第三方库#数据读取import pandas as pdimport numpy# 特征提取import librosaimport librosa.display#绘图import matplotlib.pyplot as plt#时间进度from tqdm import

这就是最后的部分，关于语言建模、多选、问答系统、文本分类、命名实体识别等任务的模型微调，这一块我也是直接看人家笔记本总结的。按照这三个部分，这个库基本就弄熟了语言建模主要有这两种方式进行建模因果语言建模：模型必须预测句子中的下一个标记（因此标签与向右移动的输入相同）。为确保模型不作弊，当尝试预测句子中的标记i + 1时，它将获得一个注意掩码，以防止其访问标记i之后的标记。 屏蔽语言建模：模型必须预测输入中被屏蔽的一些标记。它仍然可以访问整个句子，因此它可以在屏蔽标记之前和之后使用标记来预测其值

接着第一部分，这里写如何使用自定义数据集，调用transformers库去训练模型，其实感觉本质就是如何把数据集合理读取进来。文本分类使用aclImdb数据集，我比较倾向于直接用list把文本给读取进来（一）数据准备#数据读取from pathlib import Pathdef read_imdb_split(split_dir): split_dir = Path(split_dir) texts = [] labels = [] for labe

这是我对transformers库查看了原始文档后，进行的学习总结。第一部分是将如何调用加载本地模型，使用模型，修改模型，保存模型之后还会更新如何使用自定义的数据集训练以及对模型进行微调，感觉这样这个库基本就能玩熟了。# 加载本地模型须知* 1.使用transformers库加载预训练模型，99%的时间都是用于模型的下载。为此，我直接从清华大学软件（"https://mirrors.tuna.tsinghua.edu.cn/hugging-face-models/"）把模型放在了我的本地目

数据集是CASIA，以此为基础做的语音情感识别和语音识人的练习。github项目地址在：https://github.com/yingdajun/SpeechEmotionAndPeopleAnalyse

和师弟联手利用了matchzoo框架搭建了11套文本匹配模型，作为一个新框架的出现，以后会在我们的github上对这个框架逐渐进行拓展。我们做的作品的github地址是：https://github.com/yingdajun/matchzooExample-我们搭建了BiMPM、ConvKNRM、DenseBaseline-model、DRMMTKS.DUET、ESIM、HBMP、KNRM、MatchLSTM、MatchSRNN、MVLSTM模型。...

和师弟共同实现的基于fastnlp框架搭建的常见的文本分类模型，例如textCNN、textRNN、textRCNN、DPCNN模型。github地址是：https://github.com/yingdajun/fastNLPTextClassifly

最近在学习seq2seq模型，以实现常见的问答、机器翻译、文本摘要功能。所以采用三种方式（1）利用keras库搭建seq2seq（2）利用keras_transformer库（3）利用fastnlp框架实现问答机器人、机器翻译、文本摘要等功能下面是github源码：https://github.com/yingdajun/seq2seqForExample...

微信公众号《Social Listening与文本挖掘中》的“”文本挖掘从小白到精通“”学习笔记源码项目链接在：https://github.com/yingdajun/Text-Mining

从matchzoo中反向推导深度学习文本匹配模型，以后会逐渐增加新模型，就当是练手了。有源码，有数据，有导出的模型图片，有模型参数结构，可以方便下载。github地址如下：https://github.com/yingdajun/ReverseMatchZoo...

这里是利用了textCNN、textRNN、Bi-LSTM、CNN+RNN、Transformer模型搭建的文本匹配项目。Github地址在这里：https://github.com/yingdajun/chinese_text_match_By_all_pattern.git

作者为了应付毕业，所以在补充深度学习相关知识，这是我尝试把word2vec和深度学习相互结合的一次记录。数据集来源 数据集预处理 生成word2vec模型 搭建网络并且训练数据集来源本文的数据集源自kaggle比赛中的NLP入门比赛，灾难新闻预报警。数据集预处理数据导入：import numpy as npimport pandas as pdtrain_df = pd.read_csv("data/train.csv")test_df = pd.read_csv(.

简单入门TF2.0框架。30天吃掉TF2.0中拓展出适合自己的内容，简单入门，以后可以慢慢深入。Github地址在如下：https://github.com/yingdajun/EAT-TF-MIN简单实现了结构数据的二分类、多分类、回归。实现了图像数据分类。实现文本数据分类。文本数据太大了，我懒得上传，有需要直接私信，谢谢。...

从阅读fastnlp框架源码中，我得到以下的感悟。主要做的工作有如下两种。1.将清洗过后的数据集变成表格，默认的名称2.搭建对应的pytorch模型其他的基本复制粘贴源码即可。fastnlp功能真的很强大，目前可见，有做文本分类（情感分裂），对话，文本匹配，命名实体识别等功能。很值得进行研究学习。...

本系列是针对于DataWhale学习小组的笔记，从一个对统计学和机器学习理论基础薄弱的初学者角度出发，在小组学习资料的基础上，由浅入深地对知识进行总结和整理，今后有了新的理解可能还会不断完善。由于水平实在有限，不免产生谬误，欢迎读者多多批评指正。如需要转载请与博主联系，谢谢。Task1 赛题理解赛题背景赛题名称：零基础入门NLP之新闻文本分类 赛题目标：引导初学者学会NLP的预处理、以及常见的SVM、贝叶斯、逻辑回归等常见用于文本分类的机器学习算法与常用的深度学习算法。 赛题任务：赛题以自然

写的一个生成词云的函数这个是没有自定义图版本#coding:utf-8__author__ = '英俊'import warningswarnings.filterwarnings("ignore")#codecs提供的open方法来指定打开的文件的语言编码，它会在读取的时候自动转换为内部unicode import codecs #分词包import jieba #统计import pandas as pd #numpy计算包import numpy ...

面向机器学习的特征工程这本书的码云地址在这里：https://gitee.com/www.ydj.com/fe4ml-zh喜提神物

这是我将文本分类算法作为大包装，然后得到的作品。1.数据预处理2.文本分类算法模型管道搭建。（1）机器学习模型（2）深度学习模型

keras库真的是一个非常好用，非常简单，和各种框架相容的框架。中文文档位置在这里：https://keras.io/zh/我的感觉，搭建步骤是这样的：1.熟悉Model模块，搭建一个Model2.熟悉layers模块，熟悉每层3.熟悉激活函数与正则化，这是每层中神经元的特点4.然后就是比较重要的Application，这个类似于我做NLP过程中的预处理模型下载。5.然后就是一些常用的数据处理。...

以燕尾花，波士顿房价为数据集进行常见的分类，预测，降维，聚类等项目。https://github.com/yingdajun/sklearn-Final-Demo

github源码在这里：https://github.com/yingdajun/keras-Comman-DL-Model

泰坦尼克号生存率预测使用了CNN\RNN\LSTM\GRU版本：https://github.com/yingdajun/titanicDL

看这个keras入门视频学习了源码https://www.bilibili.com/video/BV1Ct411H7rm?p=12&t=292# 这里是源码：https://github.com/yingdajun/keras-码云源码：https://gitee.com/www.ydj.com/keras-code

摘要：自20年前作为一项任务首次引入以来，抽象情绪分析作为一个领域已经走过了很长的路。它在市场营销、风险管理、市场研究和政治等各个领域都有广泛的商业应用。考虑到它在特定子任务(如情绪极性分类)和数据集上的饱和，有一种潜在的看法认为这个领域已经成熟。在本文中，我们讨论这一看法，指出该领域的缺点和未被充分探索的关键方面，以获得真正的情感理解。我们分析了重要的飞跃负责其当前的相关性。此外，我们试图为这一领域绘制可能的路线，其中包括许多被忽视和未解的问题。索引术语-自然语言处理，情绪分析，情绪识别，基于方面的情

微博情感文本二分类数据测试：https://github.com/yingdajun/fastnlpTextClassDemo微博情感文本多分类数据测试：https://github.com/yingdajun/fastnlpweiboMultClassDemo垃圾邮件数据集测试:https://github.com/yingdajun/fastnlprabishDemo评论分类数据测试：https://github.com/yingdajun/fastnlptaobaoComm

项目数据集源码在这里：https://github.com/yingdajun/-fastnlp-Demo这里是通过借鉴这篇博客：https://www.jianshu.com/p/70c37deaac26然后在此基础上进行改进。1.导入包+初始化#导入Pytorch包import torchimport torch.nn as nnfrom fastNLP.io.loader import CSVLoaderdataset_loader = CSVLoader(h

这是我通过改进他人的算法，对中文复旦大学语料库的文本做文本分类的项目。也是我第一次独立进行中文文本分析的小DEMO。项目源码在这里：https://github.com/yingdajun/ML_Text_Classifiaction

"""@author: liushuchun"""import reimport stringimport jieba# 加载停用词with open("dict/stop_words.utf8", encoding="utf8") as f: stopword_list = f.readlines()def tokenize_text(text): tokens = jieba.cut(text) tokens = [token.strip() for to...

NLP问题本3质其实就是数据为文本，预处理方式不同的机器学习问题。所以就我复现kaggle比赛的一些经验我可以这么写一点经验。1.预处理这个真的是重要中的重要，如果数据集不好，用什么方法效率都很低相对于英文的预处理，有着非常复杂的去数据的过程。中文感觉只需要一个jieba.stopword和corpus就行。在这里其实可以用pandas读取数据后，再积累一些堆积的方法，然后一次性给它割的干干净净，这样十分光滑，减少痛苦。2.模型搭建。我见过两种模型1.使用pipeLine将特

这是基于REVIT模型中提取房间之间的空间拓扑关系的插件，根据门的FromRoom和ToRoom属性，如果共同门，那么 就视为房间之间互相可通。项目源码在这里：https://github.com/yingdajun/REVIT-

搞Kaggle比赛也有几个月了，虽然前前后后拖拖但是也是复现过不少比赛的。感觉思路可以总结一下。1.数据读取。一般数据格式都是以CSV格式的，但是也不排除TXT,JSON格式。所以熟悉pandas和numpy库就极为重要，最后得到预测结果也需要pandas库。2.数据处理。（1）使用pandas库等等对数据进行合理的预处理，增删改查属性，对于文本特征可以用sklearn.featuretion.text去创造。（2）同时使用sklearn库的preprocessing包进行处理3.建模

自己找的清洗数据的方法，可以用于自然语言处理的研究呢def text_to_lowercase(text): return text.lower()def text_remove_punctuation(text): return text.translate(str.maketrans('', '', string.punctuation))def text_r...

这是文本分类的常见10种机器学习算法的实现：这是常见的代码：https://github.com/yingdajun/-12-

橄榄山快速建模350-423的部分插件，没有写界面，功能实现了大部分。只是用于平日里练习二开技术所用，各方面肯定比不过橄榄山建模正版模块。项目源码在这里https://github.com/yingdajun/-NoSolved-...

我封装了百度语音识别、自然语言处理、图像识别等6个模块的百度人工智能API。项目地址是：https://github.com/yingdajun/-APIdemo有需要可以下载，有些功能需要权限。只需要新建工单申请权限即可。...

以前辅导学妹做的毕业设计，内容是利用二次开发技术提取REVIT中的一些数据和相关参数。算是我脱离小火车自己原创的插件，功能是把八类构件的属性提取到EXCEL和MYSQL中。这是我的github项目：https://github.com/yingdajun/-REVIT-EXCEL-MYSQL...

一直都想调用百度API去实现人工智能的一些功能。这几天看了一些，还是很简单的。。。这是我调用百度API中的NLP功能的一些小项目源码。https://github.com/yingdajun/-API-NLP-下面是百度API的分类：感觉学习百度API需要好好学习python中的dict和json格式的解析方法。同时需要了解一些爬虫的相关知识用法，吼吼吼。我要努力把百度...

这是从B站看到的sklearn库学习视频复现的源码。原有的视频链接在这里：https://www.bilibili.com/video/av87444313?from=search&seid=12753775452217800388复现的github地址在这里https://github.com/yingdajun/B-sklearn-...

这是我利用混合编程为手段，C#做界面，python做运行脚本。将一些常见的python功能、NLP功能、CV功能、ML功能进行封装。这是主界面：目前我封装了如下功能python功能：（1）设置国内pip安装源等功能，提高pip下载效率。设置成功！ML功能：（2）将需要进行训练的数据集（以CSV格式，最后一列是标签），选择算法进行训练。CV...

1.一定要加入os,sys第三方库，否则肯定会报错2.报错绝大多数问题是第三方包没法子导入。这里一般都是pyinstaller打包的第三方库里面的相关函数需要的文件，比如jieba分词需要IDF、DICT等等文件。snownlp需要stopword等等文件。也有pyinstaller自身的问题，建议卸载，使用一下pyinstaller 3.6.0版本。3.在进行编程前，可以先设定初...

混合编程也搞了一段时间了，这里写写我的经验感受1.首先pyinstaller 对jieba等分词真的很不友好所以在进行打包前请研究一下这些相关问题。比如jieba分词容易缺dict,idf等分析。2.sys.argv顶多只能接受两个变量，超过会报错，超越范围的。。。。3.打包出来的exe,第三方库越多，体积越大，在和C#结合前请自己打开CMD，运转到相应目录，运行差错，减少试错...

我自己写了一个基于NLP的混合编程项目。以C#为界面，python为脚本。本来打算加上关键词提取的，但因为pyintsaller对jieba的anaylse包不友好，所以就不能装了。啊好痛苦。下面是源码和功能。这里是github源码：功能一共分四个：（1）中文分词：输入文本：中文分词是文本处理的第一步。记得选择分词模式然后得到分词结果。（2...

为了提高自己对机器学习能力和混合编程能力。作为一个小菜鸡，我又要开始水博客了。今天我写了一个项目框架。基于NLP和ML的混合编程。用C#为界面，调用相应的功能。鉴于混合编程技术我掌握不太熟练。调用打包的EXE不但程序大且运转起来也贼慢所以这个还只是一个小雏形。期望以后我能将它完善了，不但是功能还有控件。点击计算精度后：选择算法：选择搜索以后：选择关键词提...

默认pip安装源下载国外文件实在是贼慢，我想下载个kaggle数据集都特别困难。所以我写了这个程序。选择对应的cell文件运行，就可以将pip默认源修改成阿里云/清华/中科大等国内镜像数据源。https://github.com/yingdajun/-pip-例如豆瓣的国内镜像是：import osini = """[global]index-url = https://...

这是可以通过设置楼板、窗、门类型，然后识别闭合模型线，自动生成小别墅的插件。Github源码如下：https://github.com/yingdajun/JuMangDemo下图是功能：...

这是入门的三个比赛的最后一次比赛，站在巨人的肩膀上，感觉自己的能力在提升。。。这是自己复现的源码https://github.com/yingdajun/digit_recongition

这是第二次练习的比赛，通过看前辈的博客去复现的房价预测。下方是源码。。。https://github.com/yingdajun/github-战斗力提高+100，自信值+20

我打的第一次kaggle比赛，泰坦尼克存活率预测。虽然是用别人的代码去运转一波，但超越源自于模仿，我也算给自己开了一个好头。哈哈哈哈哈哈哈哈哈哈。这里是老夫的github地址：https://github.com/yingdajun/-kaggle-...

这是我模拟橄榄山增改删轴线功能，并自动排序的插件得到模拟的新插件，功能很简单。。。这里是我的github地址https://github.com/yingdajun/-DEMOYJ（1）增加轴网（2）改变轴号（3）删除轴线...

这是我模拟橄榄山BIM建模神器（401）所做的项目，具体代码在我的Github上面，没有做界面（懒惰成性），没有去掉很多注释（太懒了不想写）。有需要可以拿来研究一下。下面是实现地址https://github.com/yingdajun/-WAHL具体功能如下：（1）选择所要合并的两个轴线，以第一根轴线的名称作为合并以后的轴线名称。（2）轴线合并...

https://github.com/yingdajun/ModelGanGIMSLevelToQiang这是模拟橄榄山功能楼层切割墙体功能所实现的插件，功能并不完善，有许多BUG，以后会逐渐修复的。这是我成长的一次挑战。墙体分割墙体切割...

算法名称 原理 是否需要语料库 TF-IDF 统计词的频次 需要 TextRank 脱胎于pageRank，根据权重判断 不需要 LSI 在词-段落中加一道主题，SVD分解法获取分布信息 需要 LDA 在词-段落中加一道主题，贝叶斯法获取拟合分布信息 需要 ...

我又来水博客了，今天我做了关键词提取算法。代码我会上传到我的github中去，这个算法需要stopword和corpus两个txt格式，导入的时候，会出现下面的错误gbk' codec can't decode byte 0x80 in position 26: illegal multibyte sequence只需要在里面的open函数里面加一句encoding=“utf-8”即可...

1.发了4篇二次开发的软著。2.学会了SVM算法、贝叶斯算法、KNN算法3.优化算法方面：网格搜索优化、随机搜索优化、模拟退火算法4.降维算法：PCA算法5.正在学习NLP的textCNN、textRNN模型6.NLP技术中基础三姐妹已掌握7.掌握了混合编程技术。...

https://github.com/yingdajun/-XXX功能大概如下，以C#做界面，python为内部程序。这个程序的缺陷是只能提取前10个词，以及暂时没搞懂怎么去去掉停用词。但是比起之前的中文分词程序，可以选择导入的EXE文件位置了。...

本人在百度上看到哈工大的硕士生实现了11种降维算法， 然后我也去看了一下，然后把这些代码自己运转了一边，写到了自己的Github地址上面。https://github.com/yingdajun/PCA-...

这是我写的相关github代码，可以拿去用一波https://github.com/yingdajun/Sklearn-

这是我自己实现的SVM多分类器的Github代码,有需要自取。这是MATLAB版本的实现，以后会更新python版本的实现https://github.com/yingdajun/SVM-

https://github.com/fuqiuai/learning_notes/blob/master/sklearn%E5%AD%A6%E4%B9%A0.md

6.效果验证6.1 效果验证概述6.1.1 效果验证前过程问题定义----假设检验---行动（开发）-----效果验证6.1.2 离线难以验证的效果内容经济效果考虑系统能带来多大的利润日志的副作用使用含有自身预测结果偏好的数据开展实验需要高成本难的仿真系统，另外，以相同日志作为学习数据的其他预测器也将受到影响。6.2 假设检验的框架假设检验是效果验证的基础，...

5.机器学习资源收集5.1 资源收集输入信息：从访问日志等提取出来的特征输出信息：分类标签或预测值机器学习获取数据集模式 输入信息提取模式 1 开发服务日志获取功能模块，从日志中提取（全自动方式） 2 人工浏览内容等，然后添加（人工方式） 3 自动添加信息，由人确认（自动+人工方式） 训练数据获取的5种方式 方式 1 ...

4.机器学习系统的开发机器学习系统的构成以及训练数据的日志信息收集方法4.2系统设计4.2.1 混淆概念监督学习系统：批量处理+批量学习常见处理方式和学习的组合1.采取批量处理方式进行批次学习2.采取批量处理方式进行逐次学习3.采取实时处理方式进行批次学习4.采取实时处理方式进行逐次学习机器学习系统（基于批量处理方式）1.采用批量处理方式的学习+通过We...

3.学习成果的评价3.1 分类的评价矩阵准确率（主要性能）精确率（以垃圾邮件为例，在预测为垃圾的邮件中，确实是垃圾邮件的比例）召回率（以垃圾邮件为例，在所有数据里所包含的垃圾邮件，被正确预测为垃圾邮件）F值（良好均衡性能）混淆矩阵（TP,TN,FP,TN）多类别分类的平均均值：(多类别分类的平均取值：微平均与宏平均)微平均精确率=（TP1...

第二章 机器学习的用途2.1 算法选择机器学习算法分类 类别 特点 分类 利用正确解答的离散类别与输入数据的组合进行学习，预测未知数据的类别。 回归 利用正确解答的数值与输入数据的组合进行学习，从未知数据预测连续值 聚类 以某种基准对数据进行分组 降维 将高维数据映射为低维数据以便可视化或减少计算量。 其他 推荐：提示用户喜...

第一章 机器学习项目流程。1.1 如何利用机器学习机器学习常见用途：针对于未知数据，根据以往经验，由计算机系统完成某些预测。对未知数据进行预测，通常使用监督学习。监督学习就是根据已知数据（训练数据）和某种算法，确定输入数据和输出数据之间的相关性（即模型），再根据建立得到的这个模型去预测未知数据的一个软件程序。模型，就是将输入数据和输出数据之间不明显的相关性，用公式或者规则等简单...

K-NN是一种基本分类与回归方法。输入：实例的特征向量。输出：实例的类别(可以取多类)K-NN算法的三要素：K值的选择，距离度量，分类拒测规则。K-NN近邻法的一个实现方法-KD树。3.1 K近邻算法K近邻法简单，直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分为这个类。输入：训练数据集...

感知器属于二类分类的线性分类模型。输入：实例的特征向量输出：实例的类别原理在于将实例划分为正负两类分类超平面。属于判别模型。通过引入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，从而求出线性化分的分类超平面。是神经网络和支持向量机的算法基础。2.1 模型定义：假设输入空间（特征空间）是X∈R，输出空间是Y∈{+1，-1}。输入表示实例的特征向量。...

这里是我对这本书的总结第一章1.1统计学习统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的学科。统计学习的特点 特点 1 平台 以计算机和网络为平台 2 研究对象 以数据为研究对象 3 目的 对数据进行预测和分析 4 方法 构建模型并应用模型进行预测与分析 5 学科基础 属于概率论，统计学，信...

这是复现了腿腿教学网麻蛋讲师所做的小火车工具集插件的代码。下面是Github的链接有需要可以下载。https://github.com/yingdajun/BabyTrainCopyDemo

nltk是常见的自然语言处理的python 第三方包,官方下载网址是http://www.nltk.org/一般下载方式是pip install nltk，但anconda软件自带了nltk第三方包。因此只需要下载该第三方自带的语料库即可。在命令行输入from nltk.book import * 即可下载。但这是官网的教程，一般都会下载错误或者失败。因此作者自己提供云盘地址进行下载，只需...

本人是一名读研学生，因为导师的研究方向，需要搭建深度学习环境。这是本人的电脑的配置首先，要下载CUDA的相关安装包，支持条件是电脑是VS15以上版本，要勾选C++的选项。我电脑安装了VS17，所以很容易就安装成功。下载对应版本的CUDA，之前的配置已经说过，所以不加赘述。下载成功，进行解压。双击EXE文件进行解压，路径不变就好一路安装即可，看别人...

https://blog.csdn.net/fxm720505/article/details/51382547我是按照这个教程去练习的，但是点击完以后，没有MATLAB的图却没出来。。。我的VS版本是17,NET框架是4.6，MATLAB是2018版本。。。。 ...