深度学习
深度学习
不学无术-倪
这个作者很懒,什么都没留下…
展开
-
NLP关键词提取
keywordExtract.py# -*- coding: utf-8 -*-import mathimport jiebaimport jieba.posseg as psgfrom gensim import corpora, modelsfrom jieba import analyseimport functools# 停用词表加载方法def get_stopword_list(): # 停用词表存储路径,每一行为一个词,按行读取进行加载 # 进行编码转换原创 2022-03-15 07:14:02 · 464 阅读 · 0 评论 -
NLP命名体识别bilstm+crf
"""NLP命名体识别bilstm+crf1、准备数据:origin_handle_entities()读取源数据文件,把人名,地名,机构名合并起来2、读取处理后的数据:origin_handle_mark()把预处理后的的文本标注成BMO的格式,B(begin)、M(middle)、E(end)、O(other)3、句子切分:sentence_split()按照指定的格式,比如标点等内容对数据完成切分4、保存数据 a.将标注的句子拆分自成列表和对应的标注序列 b.创建原创 2022-03-14 23:46:04 · 559 阅读 · 0 评论 -
bayes中文文本分类(NLP版)
“”"bayes中文文本分类(NLP版)1、准备数据读取数据内容,标签2、中文的分词:中文信息处理时所需的步骤(Jieba、Jiagu、pkuseg)3、文本向量化:将读取后的数据转换成文本的向量(数字)TFIDF词袋模型4、模型的训练和保存:sklearn的工具包实现,joblib5、模型的加载使用:joblib“”"import osimport jiebafrom sklearn.feature_extraction.text import TfidfVectorizer原创 2022-03-14 09:34:20 · 2190 阅读 · 0 评论 -
NLP文本分布式表示
文章目录基于矩阵的方法基于神经网络的方法基于矩阵的方法用一个词附近的其他词来表示该词共现矩阵(Cocurrence matrix)主要用于发现主题,解决词向量相近关系的表示;将共现矩阵行(列)作为词向量例如:语料库如下:• I like deep learning.• I like NLP.• I enjoy flying.则共现矩阵表示如下:(使用对称的窗函数(左右window length都为1) )例如:“I like”出现在第1,2句话中,一共出现2次,所以=2。对称的原创 2022-03-12 23:07:30 · 475 阅读 · 0 评论 -
深度学习画图工具
NN-SVGhttp://alexlenail.me/NN-SVG/PlotNeuralNethttps://github.com/HarisIqbal88/PlotNeuralNetDraw_Convnethttps://github.com/gwding/draw_convnetNetscopehttps://github.com/ethereon/netscopeConvNetDrawhttps://cbovar.github.io/ConvNetDraw/原创 2022-03-11 19:49:41 · 1288 阅读 · 0 评论 -
LSTM的原理简介
文章目录LSTM的网格结构cell state怎么控制细胞状态?遗忘门输入门更新细胞状态输出BiLSTM原理简介LSTM的网格结构cell state怎么控制细胞状态?遗忘门输入门什么输入门两个通路,遗忘门一个通路?答:论文中输入门两个通路好于一个通路。更新细胞状态输出BiLSTM原理简介...原创 2022-03-11 18:58:49 · 814 阅读 · 0 评论 -
NLP文本的离散表示
文本的离散表示(2022-03-07)one-hot表示词袋模型TF-IDFN-gramone-hot表示"""oneHotencoder举例"""from sklearn import preprocessingenc = preprocessing.OneHotEncoder()enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])#fit来学习编码res=enc.transform([[0,1,3]]).toarray()#结果转化为数原创 2022-03-07 20:28:40 · 680 阅读 · 0 评论 -
机器&深度学习-模型部署
方式服务器部署客户端部署模型在model_freeze中压缩model_freeze中的模型下载训练好的模型部署目录原创 2022-03-06 21:54:37 · 352 阅读 · 0 评论 -
瓷砖瑕疵检测-数据增强
文章目录global_var.py02_tile_sample_enhance.pyglobal_var.py# linuxdata_root_path = "data/MagneticTile" # 数据路径test_file_path = "data/test.txt" # 测试文件路径train_file_path = "data/train.txt" # 测试文件路径# windows# data_root_path = "D:\\MagneticTile" # 数据路径#原创 2022-03-05 15:21:12 · 387 阅读 · 0 评论 -
多目标进化优化
http://cjc.ict.ac.cn/online/onlinepaper/zjh-20141215142202.pdf原创 2022-02-10 17:07:58 · 241 阅读 · 0 评论 -
paddle上传文件方案
1、上传zip文件2、ai studio运行import zipfilef = zipfile.ZipFile("data/fruits.zip",'r') for file in f.namelist(): f.extract(file,"data")#将文件解压到当前文件夹下 f.close()原创 2022-02-03 09:45:44 · 794 阅读 · 0 评论 -
蒙特卡洛方法
文章目录定义起源工作过程应用领域蒙特卡罗分子模拟计算步骤项目管理力学案例1.π的计算2.积分的计算3.交通堵塞定义蒙特卡罗方法又称统计模拟法、随机抽样技术,是一种随机模拟方法,以概率和统计理论方法为基础的一种计算方法,是使用随机数(或更常见的伪随机数)来解决很多计算问题的方法。将所求解的问题同一定的概率模型相联系,用电子计算机实现统计模拟或抽样,以获得问题的近似解。起源蒙特卡罗方法于20世纪40年代美国在第二次世界大战中研制原子弹的"曼哈顿计划"计划的成员S.M.乌拉姆和J.冯·诺伊曼首先提出。.原创 2022-01-30 13:06:51 · 11474 阅读 · 2 评论 -
论文阅读方法
1、模型解决了什么问题?2、使用了什么方法、思路?3、取得了什么效果?4、该模型有什么特点,优缺点?原创 2022-01-12 20:17:34 · 218 阅读 · 0 评论 -
03-CNN服装图像分类
import tensorflow as tffrom tensorflow.keras import datasets,layers,modelsimport matplotlib.pyplot as plt#数据导入(train_images,train_labels),\(test_images,test_labels) = datasets.fashion_mnist.load_data()#数据探索plt.figure()plt.imshow(train_images[0])原创 2022-01-08 21:04:01 · 1011 阅读 · 0 评论 -
02-CNN彩色图片分类
#导入数据import tensorflow as tffrom tensorflow.keras import datasets,layers,modelsimport matplotlib.pyplot as plt(train_images,train_labels),\(test_images,test_labels) = datasets.cifar10.load_data()#归一化#将像素的值标准化至0至1的区间内train_images,test_images = tra原创 2022-01-08 19:28:02 · 633 阅读 · 0 评论 -
01-mnist数字识别
# mnist数字识别# 设置GPUimport tensorflow as tf# gpus = tf.config.list_physical_devices('GPU')# if gpus:# gpu0 = gpus[0]#如果有多个GPU,仅使用第0个GPU# tf.config.experimental.set_memory_growth(gpu0,True)#设置GPU显存用量按需使用# tf.config.set_visible_devices([gpu原创 2022-01-08 00:16:17 · 1285 阅读 · 0 评论