- 博客(20)
- 收藏
- 关注
RSS订阅原创 大文件上传
1.整体逻辑应如下：获取文件内容，利用方法将文件基于chunkSize进行裁剪，返回切片数组。将单个分片/整个文件内容计算出每个切片及文件的hash 值。进行预请求preupload，获取获取上传地址及授权信息，将 hash 值发送到服务端进行比对，检查文件是否上传过，分片是否上传过：1.如果文件已经上传过则直接调用postupload完成分片上传，从而实现秒传并返回相关信息字段。
2023-05-06 22:41:39
711
原创 tensorboard使用中的坑(ValueError:Duplicate plugins for name projector)
使用tensorboard时报错如下：原因：多个tensorboard冲突，可能之前下载了多个tensorflow版本，但是删除tensorflow时，tensorboard没有删除，被保留下来了。解决方法：找到tensorboard--x.x.xdist-info文件并删除步骤：1.首先需要定位tensorboard--x.x.xdist-info文件所在位置，输入python回车2.>>>import site >>>site.g.
2020-11-17 20:20:32
3889
7
原创 ELECTRA实现文本多分类
相关论文：ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators.一、环境搭建（以下为我建立的环境）：Tensorflow==1.15.0 Python 3 NumPy1.17 scikit-learn0.21.3 SciPy1.3.1 使用GPU训练 服务器：1080T...
2020-05-09 23:40:38
1900
7
原创 基于 CRF 的中文命名实体识别模型实现
CRF即条件随机场在前面的博客中提到过，这次做一个实验“基于 CRF 的中文命名实体识别模型实现”，首先需要掌握的是了解实体识别，这在前面的“知识图谱每日阅读（二）”中有详细介绍，条件随机场在知识图谱每日阅读（三）”中有详细介绍，需要更深入了解可以读一些条件随机场的论文。下面开始进行“基于 CRF 的中文命名实体识别模型实现”的实验：一、环境支持：python3.6sklearn_...
2019-11-10 19:34:58
4252
1
原创 条件随机场CRF
最近在看一篇论文《Learning Latent Opinions for Aspect-Level Sentiment Classification》里面用到了条件随机场以及BiLSTM模型，以此记录。主要是基于李航的《统计学习方法》一书加上自己的见解最后总结得出：首先，要理解一个概念：概率无向图模型。概率无向图模型定义：设有联合概率分布P(Y)，由无向图G=(V,E)表示，在图G中...
2019-11-01 21:36:23
444
原创 基于BERT做中文文本分类(情感分析)
Bert：BERT是一种预训练语言表示的方法，这意味着我们在大型文本语料库（例如Wikipedia）上训练通用的“语言理解”模型，然后将该模型用于我们关心的下游NLP任务，BERT优于之前的方法，因为它是第一个用于预训练NLP的无监督，深度双向系统。相关论文：《Attention Is All You Need》《BERT：Pre-training of Deep Bidirect...
2019-10-07 16:53:51
30591
54
原创 MAC搭建阿里云服务器并访问页面
本人在校研究生一枚，趁着学生认证还可以用，搭建了阿里云服务器。第一步：注册并购买阿里云服务器。根据自身情况需要选择服务器，我购买的是轻量应用服务器。选择重置系统，我使用的是Ubuntu。修改防火墙添加8080端口。然后可以重新设置密码，重置密码后需要重启。第二步：远程登录到云服务器并启动nginx。1.通过terminal，使用命令ping来测试是否能网络连接到...
2019-09-24 20:01:51
2242
原创 自然语言处理 第二节
自然语言处理 第二节1.存在的问题分类学表征存在一个普遍问题，之前几乎所有的NLP研究，除了深度学习外的NLP外，都是用了原子符号来表示单词。如果使用神经网络来考虑这个问题，那么使用原子符号就像是使用一个只有一个位置是1，其他位置时0的大向量，我们称之为“one-hot”向量编码：[0 0 0 0 0 0 0 0 0 0 1 0 0 0 0]那么，我们就有了大量与原子符号相对应的词...
2019-09-15 16:32:42
270
2
原创 自然语言处理 第一节
什么是自然语言处理自然语言处理是人工智能的一部分，人工智能还有其他部分：计算机视觉、知识表示和推理等。语言是人工只能中一个非常特殊的部分，因为语言是人类特有的属性，而对于计算机视觉来说，地球上有很多生物都有相当不错的视觉系统。因此自然语言处理被认为是人工智能核心技术之一。我们的目标是让电脑处理或理解人类的语言从而完成有意义的任务。它可以安排约会、买东西等或进行者智能回答比如siri等。语言...
2019-09-13 14:26:13
249
原创 知识图谱 每日阅读（四）
论文名称：《Variational Reasoning for Question Answering with Knowledge Graph》（基于知识图谱的变分推理）论文来源：AAAI Conference on Artificial IntelligenceThirty-Second AAAI Conference on Artificial Intelligence论文...
2019-09-10 20:57:54
531
原创 基于chatterbot制作聊天机器人
一、环境搭建python 3.6安装chatterbot安装方式：1.在项目目录下pip install chatterbot进行安装2.下载源码，运行setup.py进行安装本人尝试使用第一种安装方式失败后，下载源码进行安装成功。报错信息：根据刚才第一次安装的报错信息，查看requirement.txt中的版本要求，可以看到：使用pip lis...
2019-09-03 20:59:21
4195
1
原创 《机器学习》学习笔记
第二章模型评估与选择一、经验误差与过拟合错误率：通常我们把分类错误的样本数占样本总数的比例称为"错误率" (error rate) ，即如果在 m 个样本中有 α 个样本分类错误，则错误率 E= α/m。误差：把 学习器的实际预测输出与样本的真实输出之间的差异称为"误差" (error), 学习器在训练集上的误差称为"训练误差" (training error)或"经验误 差...
2019-08-18 20:27:06
393
原创 知识图谱 每日阅读(三)
概率图模型本节详细介绍一下概率图模型，概率图模型比如隐马尔可夫模型和条件随机场模型在实体识别、自然语言处理的过程中：分词、关键词提取部分都会用到。首先概率图模型可大致分为两类:第一类是使用有向无环图表 示变量间的依赖关系，称为有向圈模型或贝叶斯网(Bayesian network);第二类 是使用无向国表示变量间的相关关系，称为无向图模型或马尔可夫网(Markovnetwork)....
2019-08-13 21:35:47
836
原创 知识图谱 每日阅读(二)
知识图谱中实体识别、实体抽取是一个十分重要的过程。它与自然语言处理密不可分。本篇将介绍自认语言处理中的预处理过程，帮助更好的理解实体抽取。1.获取语料库自然语言处理首先需要有数据，数据可以来自现有的语料库，开放网站上提供了一些语料库网址，比如人民日报语料，可以自行下载；如果现有的满足不了需求，可以通过网络爬虫获取自定义语料库。2.预处理预料的预处理十分重要，也是自然语言处理工程中最...
2019-08-09 10:43:33
290
原创 知识图谱每日阅读（一）
论文题目：知识图谱技术综述论文作者：徐增林，盛泳潘，贺丽荣，王雅芳论文关键字：知识融合;知识图谱技术;知识表示;开放互联;语义处理论文来源：电子科技大学学报第45卷 第4期摘要部分介绍了万维网、语义网的发展背景，点出了当今万维网上的内容来源复杂，组织松散这一痛点，知识图谱将推动web3.0时代的发展，从更深的层析揭示万物的整体性与关联性，知识图谱在智能搜索中起到重要作用，...
2019-08-04 14:03:31
1430
原创 实现微信的二次分享（自定义图片、文字等）
参考：官网微信JS-SDK说明文档使用方法：angular项目步骤一：绑定域名先登录微信公众平台进入“公众号设置”的“功能设置”里填写“JS接口安全域名”。备注：登录后可在“开发者中心”查看对应的接口权限。微信授权账号：微信授权步骤二：引入JS文件在全局index.html中引入JS文件<script src="http://res.wx.qq.com/open/...
2019-08-01 20:21:15
1509
原创 基于知识图谱的简单知识问答系统
作者寄语：刚开始接触知识图谱不久，看过一些知识图谱视频及论文后，想自己亲手做实验来验证下所学的知识。于是开始在网上查看各种实验，找到了一个比较全面的实验，能更让人理解这里面的层层关系：如何构建本体，如何获取数据，如何将数据表转成三元组关系，如何使用三元组关系进行查询，如何最终与python相连接等等。这是一个以电影及人物为知识库的知识问答系统。使用到的工具及版本：网上虽然做这个实验的不...
2019-07-29 20:13:34
3624
2
原创 使用scrapy框架爬虫并将数据保存到MySQL数据库
作者寄语：这两天主要研究了一下爬虫，看了一些爬虫代码，整理了一些最简单的爬虫入门，也遇到很多坑，希望能帮助和我一样的初学者。这篇文章主要讲了如何使用python实现简单的爬虫，并将爬取的数据保存到数据库中，使其结构化，因为平时爬取的文件结果多以json文件为主，有时使用时不太方便。保存到数据库里，可以更方便使用。废话不多说，开始操作：环境搭建：1.python3.6版本2.pychar...
2019-07-24 14:46:13
9917
3
原创 less入门和使用（二）
less是一门css预处理语言，增加了变量，Mixin,函数等特性。一、变量：顾名思义，“less”英文含义为“减少的”，在我的理解看来就是让css也可以拥有某些js的特点，譬如如果要给几个div添加颜色background-color:#4D926F;如果用css来写就要给每个div分别加这个颜色，如果以后再想换颜色又要改这些样式，而在less中只需要定义一个变量即可完成，也方便以后的修改。示例...
2018-03-28 14:55:49
378
原创 less入门和使用（一）
一、在浏览器使用方法：1.下载less.js文件到本地。2.在页面中引入自己的.less文件。<link rel="stylesheet/less" href="styles.less" />3.引入下载的less.js文件。 <script src="less.js" type="text/javascript"></script>注意2、3
2018-03-28 11:42:01
10960
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人