- 博客(19)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 python pickle 读写文件整理
pickle提供了一个简单的持久化功能。可以将对象以文件的形式存放在磁盘上。Python 中Pickle库的使用详解 https://www.jb51.net/article/135407.htmpickle协议和JSON（JavaScript Object Notation）的区别： 1. JSON是一种文本序列化格式（它输出unicode文本，虽然大部分时间它被...
2019-12-31 14:07:03
10767
原创 卸载高版本TensorFlow，安装低版本
环境：macbook上 tensorflow2.0 CPU版本在使用from tensorflow.contrib import rnn 时会报：“ModuleNotFoundError: No module named 'tensorflow.contrib' ”原因是TF2.0 已经移除contrib 模块了，想要使用这个模块需要将TF降到TF1.x版本。步骤：...
2019-12-28 17:22:20
7808
转载 LSTM 网络 （Understanding LSTM Networks by colah）
原文链接：Understanding LSTM Networks1. 循环神经网络（RNNs)人们思考问题往往不是从零开始的。就好像你现在阅读这篇文章一样，你对每个词的理解都会依赖于你前面看到的一些词，而不是把你前面看的内容全部抛弃了，忘记了，再去理解这个单词。也就是说，人们的思维总是会有延续性的。传统的神经网络是做不到这样的延续性（它们没办法保留对前文的理解），这似乎成了它们一个巨...
2019-12-28 10:28:22
1700
1
转载 NLP系列(7)_Transformer详解
Refhttps://jalammar.github.io/illustrated-transformer/，https://blog.csdn.net/han_xiaoyang/article/details/86560459编者按：前一段时间谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的...
2019-12-27 14:41:56
855
转载 Bert
Ref：(1).NLP的游戏规则从此改写？从word2vec, ELMo到BERT(2).从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史1. 前言还记得不久之前的机器阅读理解领域，微软和阿里在SQuAD上分别以R-Net+和SLQA超过人类，百度在MS MARCO上凭借V-Net霸榜并在BLEU上超过人类。这些网络可以说一个比一个复杂，似乎“如何设计...
2019-12-27 14:26:33
563
原创 python3 编码问题汇总
Ref： py编码终极版：https://www.cnblogs.com/575dsj/p/7112767.html 有空仔细看看印象笔记关于编码的整理Unicode 将各国的文字,字符 一一对应一个十六进制的编号:例如：“马”的 Unicode 是U+9A6CUtf-8, utf-16，ASCII 将Unicode 编码变成二进制01,以不同的方式存储到字节中,如”马” ...
2019-12-25 15:53:57
271
1
原创 python open()方法和文件读写
open()方法open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)打开一个文件并返回文件对象如果该文件无法被打开，会抛出OSError官方python document参数file- path-like object (re...
2019-12-25 12:03:12
3816
原创 word2vec
本文介绍wordvec的概念 语言模型训练的两种模型 CBOW + skip gram word2vec 优化的四种方法：层次softmax、高频词组当做单个词来处理、对高频单词采样、负例采样 gensim word2vec默认用的模型和方法机器学习的输入都是数字，而NLP都是文字； 为了让机器学习应用在NLP上，需要把文字转换为数字，把文字嵌入到数学空间。1. wordve...
2019-12-23 18:43:45
5927
转载 如何轻松愉快地理解条件随机场（CRF）？
背景理解条件随机场最好的办法就是用一个现实的例子来说明它。但是目前中文的条件随机场文章鲜有这样干的，可能写文章的人都是大牛，不屑于举例子吧。于是乎，我翻译了这篇文章。希望对其他伙伴有所帮助。原文在这里[http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields/]想直接看英文的朋友可以直接点进去了。我...
2019-12-23 10:14:19
165
转载 技术概述深度学习：详解前馈、卷积和循环神经网络
Ref：https://www.jiqizhixin.com/articles/2017-09-07-9本论文技术性地介绍了三种最常见的神经网络：前馈神经网络、卷积神经网络和循环神经网络。且该文详细介绍了每一种网络的基本构建块，其包括了基本架构、传播方式、连接方式、激活函数、反向传播的应用和各种优化算法的原理。本文不仅介绍了这三种神经网络的基本原理与概念，同时还用数学表达式正式地定义了这些概念...
2019-12-22 20:26:46
796
原创 数据结构与算法-链表题-总结
本文将总结Leetcode和剑指offer已有的链表相关的题目和解答，有简入难。1、删除链表的节点(1)、O(1)时间删除链表节点题目：给定一个链表和一个节点指针，在O(1)时间删除该节点。方法：狸猫换太子，用后一个节点数据覆盖要删除的节点，然后删除下一个节点。leetcode 237. Delete Node in a Linked List（删除链表中的特定节点）...
2019-12-19 23:54:54
456
转载 知识图谱3-LSTM+CRF for NER
Ref：http://xtf615.com/2018/11/27/ner/ 摘抄到自己的博客上方便修改，添加备注。 比较深澳，后面的就看不懂了，之后再整理吧。LSTM+CRF NER本文将借鉴论文《End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF》中的思路和方法实现命名实体识别。目标NER英文命名实体识别的...
2019-12-18 17:40:33
1222
1
转载 知识图谱1-序列标注：BiLSTM-CRF模型做基于字的中文命名实体识别
Ref：https://www.cnblogs.com/Determined22/p/7238342.html命名实体识别（Named Entity Recognition）命名实体识别（Named Entity Recognition, NER）是 NLP 里的一项很基础的任务，就是指从文本中识别出命名性指称项，为关系抽取等任务做铺垫。狭义上，是识别出人名、地名和组织机构名这三类命名...
2019-12-18 15:38:25
4063
1
转载 知识图谱2-最通俗易懂的BiLSTM-CRF模型中的CRF层介绍
Ref：https://zhuanlan.zhihu.com/p/44042528 本文将原作者的内容摘抄过来，并做一些注释本文翻译自GitHub博客上的原创文章，结尾有原文链接。文章没有晦涩的数学公式，而是通过实例一步一步讲解CRF的实现过程，是入门CRF非常非常合适的资料。概述该文章系列包括以下内容：概念介绍 — 基于 BiLSTM-CRF模型中的命名实体识别任务中的CRF...
2019-12-17 22:11:08
3308
1
原创 pip install 和conda install 的区别
问题解决步骤：在进行抽取文章主题的任务中用到gensim，发现在jupyter 上导包不成功import gensim from gensim import corpora, models, similarities报错 “No model named gensim”1.第一步：去查看pip3 list 中发现确实没有gensim这个包，okpip3 install...
2019-12-10 19:39:10
28157
3
原创 通俗理解word2vec
参考https://www.jianshu.com/p/471d9bfbd72f假设词表中共有4万个词汇，现在知道第t个词前面的n-1个词，预估第t个词：首先将n-1 依据词表进行onehot编码得到n-1个 $1*4万$的稀疏向量(只有一个位置为1，其余为0)， 然后为每一个词 随机初始化一个(1*K)维的词向量C，这n-1个词向量经过拼接/求和等操作得到一个1*K维的向量，然后再经过...
2019-12-07 10:25:07
153
原创 python实现：欧氏距离/余弦相似度/皮尔逊相似度
一. 欧氏距离距离越小，相似度越高def EuclideanDistances(A, B): BT = B.transpose() vecProd = np.dot(A,BT) SqA = A**2 sumSqA = np.matrix(np.sum(SqA, axis=1)) sumSqAEx = np.tile(sumSqA.transpos...
2019-12-02 20:36:20
6726
1
原创 macbook 安装spark以及和jupyter搭配使用
1.首先macbook需要安装java环境 (记得配置环境变量)2.安装spark： brew install apache-spark 安装成功 apache-spark的默认安装位置：/usr/local/Cellar/apache-spark/2.4.4配置环境变量 sudo vim /etc/profile# sparkexport SPARK_...
2019-12-02 10:56:33
938
2010年山东省大学生电子设计竞赛本课组A、B题
2013-01-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人