- 博客(27)
- 收藏
- 关注
RSS订阅
原创 linux&hive使用记录
linux下对文件去重sort -n test.txt | uniq拉取hive表，且分组&组内排序hive -e "select city_name,price,row_number() over(partition city_name order by price) from table_name where pt='20190816000000';" >your_fil...
2019-08-16 18:31:39
599
原创 macbook打开csv中文乱码问题
解决方法import pandas as pddata = pd.read_csv('data.csv')data.to_csv('data_new.csv',encoding='utf_8_sig')
2019-10-22 10:33:05
616
1
原创 python列出文件、判断文件夹是否存在、创建文件夹
列出目录下所有文件#coding=utf8import osfiles=os.listdir(path)for f in files: print (f) #打印出文件名，不带路径，如1.txt,2.txt判断文件/文件夹是否存在import osprint (os.path.isfile(path)) #若文件存在，返回True，否则返回Falseprint (os.path...
2019-10-12 18:12:56
300
原创 c++利用boost库接收命令行输入参数
#include<iostream>#include<boost/program_options.hpp>using namespace std;int main(int argc,char* argv[]){ std::string output_; boost::program_options::options_description desc("Optio...
2019-10-09 17:36:48
456
原创 json.dumps和str的区别
参考链接：https://zhuanlan.zhihu.com/p/37178347json.dumps就是将字典转换成str格式，但是和直接使用str进行转换还是有所区别的json.loads得到的是字典形式引号str转化后的字符串中，引号是用单引号，而json.dumps是双引号，这在字典和列表中都是这样>>> str(['a', 'b'])"['a', 'b']...
2019-10-08 20:54:29
1409
1
原创 c++按行读取文件
string input_file="inputFileName";string query;std::ifstream in(input_file);while(getline(in,query)){ cout<<query<<endl;}
2019-08-27 16:50:08
15579
1
原创 cs224n 笔记16 用于回答问题的动态神经网络（DMN for QA）
引入课程首先抛出一个问题，所有的NLP任务都能被看做问答任务吗？所谓的问答系统就是根据前文信息回答问题，比如这里I是输入（input），Q是问题（question），A是回答（answer）。在右边的例子中，以问答形式展示了命名实体识别、词性标注以及机器翻译这三种NLP任务。所以，如果可以学习到一个通用的问答模型，那么似乎可以同时解决这些NLP任务，这也就是这节课的重点–DMN。两个难点...
2019-06-16 20:20:30
475
原创 python的字符编码问题
总是把python的编码问题搞得很混乱，现在整理一下，免得以后再忘记。。。常见编码常见的字符编码有 ASCII 编码，GBK 编码，Unicode 编码和 UTF-8 编码等等。ASCII编码是最开始美国使用的，一个字节（八个位）代表一个字符。比如大写英文字母 A 的二进制表示是 01000001（十进制 65）。Unicode编码的出现原因是ASCII编码推向全球时，一个字节不能完成所有...
2019-03-26 21:18:58
221
原创 cs224n 笔记15 共指解析
什么是指代消解简单来说就是代指的问题，在语言中总是会用代词、名词或者一些名词性短语来代替其他事物指代消解的应用全文理解机器翻译：比如有的语言不区分男他和女她，在翻译时需要指代消解文本摘要：使用代词会使行文更加自然信息提取和QA系统指代消解的评测结合聚类的思想，发现指代消解和聚类很像...
2019-02-02 14:00:50
1758
1
原创 cs224n 笔记14 树RNN和短语句法分析
前言cs224n 第十四讲，这篇博客记录了这节课最重要的一部分内容，也就是结合句法树和词向量生成句子表示的方法。文章目录前言语言模型光谱语言的语义解释--并不只是词向量递归思想语言的递归性递归的优点句子向量表示实例介绍进一步改进语言模型光谱我们常用的语言模型是词袋模型，这种模型有其一定的缺陷。如图所示，词袋模型不能包含所有的单词，总会有一些词在词袋之外。另外，也尝试使用更复杂的结构，比如短...
2019-01-27 22:36:20
522
原创 cs224n 笔记13 卷积神经网络
前言cs224n 第十三讲，讲了一些CNN的知识，比较常见，内容也没有很多。文章目录前言从RNNs到CNNs什么是卷积单层CNN池化层分类dropout模型比较从RNNs到CNNsRNN的问题：不能捕捉到不包含上下文信息的某个单词，如下图所示，如果我只想获得 my birth 这个词组的信息，RNN是不容易做到的，因为RNN只能从左到右进行，包含了整句话的信息RNN过于关注最后一个...
2019-01-20 20:35:52
291
原创 cs224n 笔记12 语音处理的端对端模型
前言cs224n 第12讲，这一节课讲了一些语音识别的知识，感觉算是一个知识面广度的拓展吧。文章目录前言Automatic Speech Recognition(ASR)什么是ASR为什么ASR重要经典实现方法基于神经网络的ASR端到端模型Connectionist Temporal Classification（CTC）Listen Attend and Spell（LAS）LAS改进在线s...
2019-01-13 20:57:53
723
原创 cs224n 笔记11 GRU和NMT的其他议题
前言cs224n 第11讲，复习了一些RNN知识，讲到了GRU以及机器翻译文章目录前言RNN到GRU门控单元GRU寄存器GRU和LSTM对比训练技巧集成MT评价BLEUMultiple Reference Translations大词表问题RNN到GRU门控单元在RNN中，我们想了解过去的信息是如何影响当前时刻的，想找到一种测量方式能够显示的表现这种影响。RNN的梯度消失是一个很大的...
2019-01-06 17:05:23
364
1
原创 cs224n 笔记10 神经机器翻译和注意力模型
神经机器翻译（NMT）什么是NMT神经机器翻译是用一个端到端的神经网络建模完成翻译过程的系统。如下图所示NMT发展80年代用神经网络做机器翻译还是很边缘的领域，但是我们现在用的很多算法都是当时提出来的，比如常见的反向传播算法。当时提出了encoder-decoder模型，但是还是很简单的模型，固定的输入输出（二进制表示），十分有限的输入输出数据，这也反映了当时计算资源的限制。90年代...
2019-01-01 17:55:45
705
原创 cs224n 笔记9 机器翻译和高级循环神经网络LSTMs和GRUs
前言cs224n 第九讲，讲解了机器翻译以及GRU、lstm。文章目录前言机器翻译传统机器翻译第一步：对齐其他步骤传统机器翻译深度学习来拯救简单的RNNRNN扩展机器翻译传统机器翻译传统机器翻译的目标就是找到条件概率最大的e：e^=argmaxep(e∣f)=argmaxep(f∣e)p(e)\hat e=argmax_ep(e|f)=argmax_ep(f|e)p(e)e^=argm...
2018-12-23 16:44:02
591
原创 cs224n 笔记8 RNN和语言模型
传统语言模型RNNsRNN语言模型重要的训练问题和tricksRNNs用于其他句子任务双向和深度RNNs传统语言模型语言模型是计算一个单词序列，也就是一个句子的概率的模型。传统的语言模型就是利用待预测单词前窗口内的单词序列进行预测，假设窗口大小为n，则根据马尔科夫假设，可以用以下公式进行表示：p(w1,w2...wm)=∏i=1i=mp(wi∣w1,w2...wi−1)=∏i=1...
2018-12-16 21:24:40
322
原创 cs224n 笔记7 tensorflow入门
前言cs224n第7讲，主要tensorflow进行了入门讲解文章目录前言tensorflow简介为什么要用成熟的框架什么是tensorflow编程模型运行图如何训练模型定义损失计算梯度训练模型变量共享现场codingtensorflow简介为什么要用成熟的框架有助于扩展机器学习代码，也就是可以调用成熟代码可以自动计算梯度标准化机器学习应用，便于共享多种算法、理念、抽象、编程语言...
2018-12-07 17:59:49
234
原创 哈工大ltp的使用
下载安装安装使用python版本的ltppip install pyltp下载对应版本模型可以在这里下载https://pan.baidu.com/share/link?shareid=1988562907&amp;uk=2738088569#list/path=%2F注意对应版本下载基本用法# -*- coding: utf-8 -*-#作者：MebiuW#微博：@Meb...
2018-12-06 11:27:35
4784
原创 python对excel的基本操作记录&&写入富字符串
xlrd 写入安装pip install xlrd使用wb=xlrd.open_workbook('mydata.xlsx') #打开一个表格sh = wb.sheet_by_name(u'Sheet1') #根据表单名获取内容# sh = wb.sheet_by_index(1) #或者根据索引获取内容，sheet索引从0开始# print sh.name,sh.nrows,...
2018-12-06 11:07:30
790
原创 cs224n 笔记6 依存分析
前言此篇博客是cs224n的第六讲的课程笔记，主要对依存分析进行了讲解，用于备忘。文章目录前言两种语法结构工具上下文无关文法依存句法结构歧义标注数据库依存句法分析依存句法可用信息依存句法分析条件依存句法分析方法Arc-standard transition-based parser神经网络依存句法分析器依存分析的评估问题及解决为什么需要非线性两种语法结构工具上下文无关文法描述句子结构有两...
2018-12-03 17:03:55
940
原创 cs224n 笔记5 反向传播和项目建议
前言这一节主要是讲了四种理解反向传播的角度或者说方法，个人认为最好还是在公式推导上理解，这样更踏实。当然，其他的方法也是不错的思路，本质上还是一样的。文章目录前言四种解释多层神经网络电路解释流程图误差信号项目建议四种解释多层神经网络从上一节的单层神经网络扩展到多层神经网络由上一节的推导可以知道，对于单层神经网络的梯度下降有∂s∂Wij=δixj\begin{aligned}\f...
2018-11-25 22:06:57
344
原创 CS224n 笔记4 Word Window 分类与神经网络
分类背景在分类任务中融入词向量窗口分类和交叉熵误差推导技巧一个单层的神经网络最大间隔损失和反向传播分类分类设置和符号我们的样本以{xi,yi}i=1N\{x_i,y_i\}_{i=1}^N{xi,yi}i=1N的形式存在，其中xix_ixi是输入，yiy_iyi是标签。xix_ixi可以是一个单词或者向量（这并不是常见形式，但便于理解），yiy_iyi可以是标签（肯定...
2018-11-18 22:59:18
214
原创 CS224n 笔记3 高级词向量表示
当使用小的初始化向量时，不容易陷入局部最优word2vec负采样时，负样本通常选用不常见的词，也就是低频词，负样本的量级是10word2vec回顾遍历词表中的每一个单词利用下列公式预测中心词的上下文（skip-gram）在每一个这样的窗口内做随机梯度下降（SGD）存在的问题在每一个窗口内做SGD时，由于窗口大小一般为5~10，而j(θ)j(\theta)j(θ)中的θ...
2018-11-11 15:43:42
391
原创 CS224n 笔记1 深度自然语言处理
前言该系列博客是对斯坦福CS224n系列课程的学习笔记，主要用于记录课程主要知识，加深个人理解。文章若有错误之处，请各路大神指出。文章什么是自然语言处理（NLP）自然语言处理是计算机科学、人工智能以及语言学的交叉学科，其目标是为了让计算机能够处理或者理解人类语言，完成有意义的任务，如订票、购物等。自然语言处理的层次NLP任务的输入主要有语音和文本两方面，其对应的第一级分别就是语音识别...
2018-10-29 16:19:03
279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人