自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(20)
  • 收藏
  • 关注

原创 大文件上传

1.整体逻辑应如下:获取文件内容,利用方法将文件基于chunkSize进行裁剪,返回切片数组。将单个分片/整个文件内容计算出每个切片及文件的hash 值。进行预请求preupload,获取获取上传地址及授权信息,将 hash 值发送到服务端进行比对,检查文件是否上传过,分片是否上传过:1.如果文件已经上传过则直接调用postupload完成分片上传,从而实现秒传并返回相关信息字段。

2023-05-06 22:41:39 711

原创 tensorboard使用中的坑(ValueError:Duplicate plugins for name projector)

使用tensorboard时报错如下:原因:多个tensorboard冲突,可能之前下载了多个tensorflow版本,但是删除tensorflow时,tensorboard没有删除,被保留下来了。解决方法:找到tensorboard--x.x.xdist-info文件并删除步骤:1.首先需要定位tensorboard--x.x.xdist-info文件所在位置,输入python回车2.>>>import site >>>site.g.

2020-11-17 20:20:32 3887 7

原创 ELECTRA实现文本多分类

相关论文:ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators.一、环境搭建(以下为我建立的环境):Tensorflow==1.15.0 Python 3 NumPy1.17 scikit-learn0.21.3 SciPy1.3.1 使用GPU训练 服务器:1080T...

2020-05-09 23:40:38 1899 7

原创 基于 CRF 的中文命名实体识别模型实现

CRF即条件随机场在前面的博客中提到过,这次做一个实验“基于 CRF 的中文命名实体识别模型实现”,首先需要掌握的是了解实体识别,这在前面的“知识图谱每日阅读(二)”中有详细介绍,条件随机场在知识图谱每日阅读(三)”中有详细介绍,需要更深入了解可以读一些条件随机场的论文。下面开始进行“基于 CRF 的中文命名实体识别模型实现”的实验:一、环境支持:python3.6sklearn_...

2019-11-10 19:34:58 4251 1

原创 条件随机场CRF

最近在看一篇论文《Learning Latent Opinions for Aspect-Level Sentiment Classification》里面用到了条件随机场以及BiLSTM模型,以此记录。主要是基于李航的《统计学习方法》一书加上自己的见解最后总结得出:首先,要理解一个概念:概率无向图模型。概率无向图模型定义:设有联合概率分布P(Y),由无向图G=(V,E)表示,在图G中...

2019-11-01 21:36:23 444

原创 基于BERT做中文文本分类(情感分析)

Bert:BERT是一种预训练语言表示的方法,这意味着我们在大型文本语料库(例如Wikipedia)上训练通用的“语言理解”模型,然后将该模型用于我们关心的下游NLP任务,BERT优于之前的方法,因为它是第一个用于预训练NLP的无监督,深度双向系统。相关论文:《Attention Is All You Need》《BERT:Pre-training of Deep Bidirect...

2019-10-07 16:53:51 30578 54

原创 MAC搭建阿里云服务器并访问页面

本人在校研究生一枚,趁着学生认证还可以用,搭建了阿里云服务器。第一步:注册并购买阿里云服务器。根据自身情况需要选择服务器,我购买的是轻量应用服务器。选择重置系统,我使用的是Ubuntu。修改防火墙添加8080端口。然后可以重新设置密码,重置密码后需要重启。第二步:远程登录到云服务器并启动nginx。1.通过terminal,使用命令ping来测试是否能网络连接到...

2019-09-24 20:01:51 2241

原创 自然语言处理 第二节

自然语言处理 第二节1.存在的问题分类学表征存在一个普遍问题,之前几乎所有的NLP研究,除了深度学习外的NLP外,都是用了原子符号来表示单词。如果使用神经网络来考虑这个问题,那么使用原子符号就像是使用一个只有一个位置是1,其他位置时0的大向量,我们称之为“one-hot”向量编码:[0 0 0 0 0 0 0 0 0 0 1 0 0 0 0]那么,我们就有了大量与原子符号相对应的词...

2019-09-15 16:32:42 270 2

原创 自然语言处理 第一节

什么是自然语言处理自然语言处理是人工智能的一部分,人工智能还有其他部分:计算机视觉、知识表示和推理等。语言是人工只能中一个非常特殊的部分,因为语言是人类特有的属性,而对于计算机视觉来说,地球上有很多生物都有相当不错的视觉系统。因此自然语言处理被认为是人工智能核心技术之一。我们的目标是让电脑处理或理解人类的语言从而完成有意义的任务。它可以安排约会、买东西等或进行者智能回答比如siri等。语言...

2019-09-13 14:26:13 249

原创 知识图谱 每日阅读(四)

论文名称:《Variational Reasoning for Question Answering with Knowledge Graph》(基于知识图谱的变分推理)论文来源:AAAI Conference on Artificial IntelligenceThirty-Second AAAI Conference on Artificial Intelligence论文...

2019-09-10 20:57:54 531

原创 基于chatterbot制作聊天机器人

一、环境搭建python 3.6安装chatterbot安装方式:1.在项目目录下pip install chatterbot进行安装2.下载源码,运行setup.py进行安装本人尝试使用第一种安装方式失败后,下载源码进行安装成功。报错信息:根据刚才第一次安装的报错信息,查看requirement.txt中的版本要求,可以看到:使用pip lis...

2019-09-03 20:59:21 4193 1

原创 《机器学习》学习笔记

第二章模型评估与选择一、经验误差与过拟合错误率:通常我们把分类错误的样本数占样本总数的比例称为"错误率" (error rate) ,即如果在 m 个样本中有 α 个样本分类错误,则错误率 E= α/m。误差:把 学习器的实际预测输出与样本的真实输出之间的差异称为"误差" (error), 学习器在训练集上的误差称为"训练误差" (training error)或"经验误 差...

2019-08-18 20:27:06 393

原创 知识图谱 每日阅读(三)

概率图模型本节详细介绍一下概率图模型,概率图模型比如隐马尔可夫模型和条件随机场模型在实体识别、自然语言处理的过程中:分词、关键词提取部分都会用到。首先概率图模型可大致分为两类:第一类是使用有向无环图表 示变量间的依赖关系,称为有向圈模型或贝叶斯网(Bayesian network);第二类 是使用无向国表示变量间的相关关系,称为无向图模型或马尔可夫网(Markovnetwork)....

2019-08-13 21:35:47 836

原创 知识图谱 每日阅读(二)

知识图谱中实体识别、实体抽取是一个十分重要的过程。它与自然语言处理密不可分。本篇将介绍自认语言处理中的预处理过程,帮助更好的理解实体抽取。1.获取语料库自然语言处理首先需要有数据,数据可以来自现有的语料库,开放网站上提供了一些语料库网址,比如人民日报语料,可以自行下载;如果现有的满足不了需求,可以通过网络爬虫获取自定义语料库。2.预处理预料的预处理十分重要,也是自然语言处理工程中最...

2019-08-09 10:43:33 290

原创 知识图谱每日阅读(一)

论文题目:知识图谱技术综述论文作者:徐增林,盛泳潘,贺丽荣,王雅芳论文关键字:知识融合;知识图谱技术;知识表示;开放互联;语义处理论文来源:电子科技大学学报第45卷 第4期摘要部分介绍了万维网、语义网的发展背景,点出了当今万维网上的内容来源复杂,组织松散这一痛点,知识图谱将推动web3.0时代的发展,从更深的层析揭示万物的整体性与关联性,知识图谱在智能搜索中起到重要作用,...

2019-08-04 14:03:31 1430

原创 实现微信的二次分享(自定义图片、文字等)

参考:官网微信JS-SDK说明文档使用方法:angular项目步骤一:绑定域名先登录微信公众平台进入“公众号设置”的“功能设置”里填写“JS接口安全域名”。备注:登录后可在“开发者中心”查看对应的接口权限。微信授权账号:微信授权步骤二:引入JS文件在全局index.html中引入JS文件<script src="http://res.wx.qq.com/open/...

2019-08-01 20:21:15 1507

原创 基于知识图谱的简单知识问答系统

作者寄语:刚开始接触知识图谱不久,看过一些知识图谱视频及论文后,想自己亲手做实验来验证下所学的知识。于是开始在网上查看各种实验,找到了一个比较全面的实验,能更让人理解这里面的层层关系:如何构建本体,如何获取数据,如何将数据表转成三元组关系,如何使用三元组关系进行查询,如何最终与python相连接等等。这是一个以电影及人物为知识库的知识问答系统。使用到的工具及版本:网上虽然做这个实验的不...

2019-07-29 20:13:34 3622 2

原创 使用scrapy框架爬虫并将数据保存到MySQL数据库

作者寄语:这两天主要研究了一下爬虫,看了一些爬虫代码,整理了一些最简单的爬虫入门,也遇到很多坑,希望能帮助和我一样的初学者。这篇文章主要讲了如何使用python实现简单的爬虫,并将爬取的数据保存到数据库中,使其结构化,因为平时爬取的文件结果多以json文件为主,有时使用时不太方便。保存到数据库里,可以更方便使用。废话不多说,开始操作:环境搭建:1.python3.6版本2.pychar...

2019-07-24 14:46:13 9916 3

原创 less入门和使用(二)

less是一门css预处理语言,增加了变量,Mixin,函数等特性。一、变量:顾名思义,“less”英文含义为“减少的”,在我的理解看来就是让css也可以拥有某些js的特点,譬如如果要给几个div添加颜色background-color:#4D926F;如果用css来写就要给每个div分别加这个颜色,如果以后再想换颜色又要改这些样式,而在less中只需要定义一个变量即可完成,也方便以后的修改。示例...

2018-03-28 14:55:49 378

原创 less入门和使用(一)

一、在浏览器使用方法:1.下载less.js文件到本地。2.在页面中引入自己的.less文件。&lt;link rel="stylesheet/less" href="styles.less" /&gt;3.引入下载的less.js文件。 &lt;script src="less.js" type="text/javascript"&gt;&lt;/script&gt;注意2、3

2018-03-28 11:42:01 10960

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除