深度学习
文章平均质量分 75
小白白白又白cdllp
数据挖掘,数据分析,数据市场
展开
-
Cube-Studio:开源大模型全链路一站式中台
Cube-Studio是由腾讯音乐开源的一款云原生一站式AI中台,覆盖机器学习/深度学习/LLM大模型,开发、训练、推理、应用,全链路。该项目目前已是国内最火的开源算法全链路中台,上千家企业私有化部署和项目交付,非常适合数据算法架构团队搭建公司级AI中台,以及toB企业算法中台类项目交付。原创 2024-07-02 10:43:20 · 1604 阅读 · 0 评论 -
label studio数据标注平台的自动化标注使用
开源项目,欢迎star哦,做图文音项目过程中,我们通常会需要进行数据标注。label studio是一个比较好上手的标注平台,可以直接搜索label studio使用,也可以在cube studio中使用,在cube studio中不仅可以直接使用原生的label studio,还打通了模型训练和数据存储,可以直接使用我们自己训练好的AI模型,对我们的图文音数据来进行自动化标注。原创 2024-06-25 22:30:04 · 2428 阅读 · 1 评论 -
WEB界面上使用ChatGPT
可以使用gpt4、gpt3.5,还有添加了不同先验知识的其他版本的智能问询,比如具备python先验知识的python版本,比如加入了cubestudio本身的先验知识的cubestudio版本,通过先验知识的添加,结合gpt的智能,生成可以更准确解答特定问题的私有知识库。项目有体验地址,也可以根据github上的部署文档自行部署,部署之后即可使用。进入平台WEB界面后,点击“数据智能”,可看到不同版本的智能问询。原创 2024-06-24 11:26:52 · 813 阅读 · 0 评论 -
Bert源码修改完成多分类任务
(作者:陈玓玏 data-master)一直以来,我自己处理文本分类都是用的正则,但正则需要经常去维护,短信模板如果更新了,就需要考虑把新模板加到正则表达式中。这样其实挺费神的,虽然我们可以使用pyltp对文本做一些机构名/人名的替换,然后将文本去重,清洗出相对好提取正则的模板,但分类和消息来源多了之后,需要处理,测试的模板量还是很大的,所以就想,能不能把已经用正则进行分类的文本,以及正则判别出的分类做label,然后用bert进行文本分类,这样就不需要自己手动去更新正则表达式啦。但是关于bert,网上原创 2020-08-25 18:00:31 · 2933 阅读 · 4 评论 -
预训练语言模型在网易严选的应用
导读:随着Bert的发布,预训练 ( pre-train ) 成为NLP领域最为热门的方向之一,大规模的无监督语料加上少量有标注的语料成为了NLP模型的标配。本文将介绍几种常见的语言模型的基本原理和使用方式,以及语言模型在网易严选NLP业务上的实践,包括分类、文本匹配、序列标注、文本生成等。01前言文本的表征经历了漫长的发展历程,从最简单经典的bow词袋模型、以LDA为代表的主题模型、以word2vec为代表的稠密向量模型、到现在以Bert为代表的通用语言模型。词语是文本细粒度的表达,早期的预训练词向转载 2020-08-06 22:32:53 · 1320 阅读 · 1 评论 -
5 分钟入门 Google 最强NLP模型:BERT
10月11日,Google AI Language 发布了论文BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding提出的 BERT 模型在 11 个 NLP 任务上的表现刷新了记录,包括问答 Question Answering (SQuAD v1.1),推理 Natural Language...转载 2019-12-19 11:12:32 · 410 阅读 · 0 评论 -
一文详解 Word2vec 之 Skip-Gram 模型(结构篇)
&...转载 2019-04-09 11:10:13 · 839 阅读 · 0 评论 -
卷积神经网络的Tensorboard可视化
(作者:陈玓玏)一、Windows下使用Tensorboard的方法Tensorboard是TensorFlow自带的可视化工具,因为想知道神经网络的中间环节到底是如何变化的,比如损失函数的变化过程、参数的分布、参数更新的过程、卷积核的样子等等,所以需要用到Tensorboard来帮助我。这里先记录一下生成了logs文件后查看Tensorboard中图片的方法,再来说怎么产生logs。在W...原创 2019-06-10 14:24:41 · 2216 阅读 · 4 评论 -
TensorFlow实现卷积神经网络、深度神经网络识别手写体
(作者:陈玓玏)因为比较好奇不同神经网络的效果差异,分别使用卷积神经网络、浅层神经网络、深度神经网络来识别手写体,以下给出三种方法的代码:一、浅层神经网络识别手写体# -*- coding: utf-8 -*-"""Created on Fri Dec 21 09:10:26 2018@author: chendile"""#无论是卷积神经网络还是深度神经网络,构建原创 2019-05-05 10:35:21 · 647 阅读 · 0 评论 -
TensorFlow建立深度神经网络解决二分类问题(注释非常详细,通过实例学框架)
(作者:陈玓玏)一、 实现功能从CSV文件中读取数据,然后构建深度神经网络,各层神经元个数分别为3/5/2/4/1,因为是二分类问题,所以输出层只需要一个神经元。前四层,包括输入层的激活函数都是Relu,还定义了Elu函数,是Relu函数的改进版,输出层使用的是sigmoid激活函数。损失函数定义为交叉熵损失函数,优化方法采用的梯度下降法。最后对结果进行评估,虽然神经网络中通常是使用准确度来评...原创 2019-05-05 10:35:01 · 4943 阅读 · 2 评论 -
深度神经网络中使用Tensorboard进行训练过程可视化
(转载,原文链接:https://www.cnblogs.com/tengge/p/6376073.html)写得蛮不错的,亲测好用,关于怎么使用Tensorboard查看图片,请看这一篇的开头:http://www.data-master.net/86658670import tensorflow as tfimport numpy as np#输入数据x_data = np.lin...转载 2019-01-26 17:31:30 · 966 阅读 · 0 评论 -
Tensorflow建立深度神经网络时出现nan及交叉熵损失函数的探讨
(作者:陈玓玏)在使用tensorflow建立深度神经网络的过程中,在几次迭代之后发现所有的权重都变为了nan,导致整个网络都无法正常工作。出现这个问题我知道的可能有以下两个原因。1) 样本未进行归一化因为每次迭代都要计算σ(x∗ω+b)\sigma(x*\omega+b)σ(x∗ω+b),而深度神经网络的参数众多,如果样本不进行归一化,很容易出现x∗ω+bx*\omega+bx∗ω+b溢出...原创 2019-01-07 21:46:02 · 1498 阅读 · 0 评论 -
Tensorflow获取tensor具体数据及InvalidArgumentError: Shape [-1,2186] has negative dimensions错误
(作者:陈玓玏)一、查看tensor具体数据在使用tensorflow训练模型的过程中,想要查看某些变量的具体内容,以便更好地掌握训练过程,但是tensorflow的变量都是tensor对象,而直接查看tensor对象只能看到其shape信息和数据类型信息,看不到具体的信息。想要查看具体数据,需要通过session,代码如下:#引入tensorflowimport tensorflow ...原创 2019-01-05 23:21:53 · 4781 阅读 · 1 评论 -
Field 9 in record 0 is not a valid int32及FailedPreconditionError:Attempting to use uninitialized val
(作者:陈玓玏)一、 Field 9 in record 0 is not a valid int32: 66.67问题通过以下命令读取csv文件时出现Field 9 in record 0 is not a valid int32: 66.67错误:import tensorflow as tffilename_queue = tf.train.string_input_produce...原创 2018-12-24 21:28:33 · 2484 阅读 · 0 评论 -
TensorFlow读取csv文件出现错误:OutOfRangeError (see above for traceback): RandomShuffleQueue '_44_
(作者:陈玓玏)一、出现问题的具体场景在使用TensorFlow读取csv文件出现错误:OutOfRangeError (see above for traceback): RandomShuffleQueue ‘_44_shuffle_batch_1/random_shuffle_queue’ is closed and has insufficient elements (requeste...原创 2018-12-24 21:18:19 · 2276 阅读 · 0 评论 -
ValueError: could not convert string to float: '\ufeff50'及ValueError: Cannot feed value of shape错误
(作者:陈玓玏)一、 ValueError: could not convert string to float: '\ufeff50’错误错误场景:使用tensorflow的tf.contrib.learn.datasets.base.load_csv_without_header读取csv文件时,出现错误**ValueError: could not convert string to f...原创 2019-01-03 22:01:03 · 8338 阅读 · 0 评论