Talk Is Cheap

原创 TfidfTransformer 输出

from sklearn.feature_extraction.text import TfidfTransformerfrom sklearn.feature_extraction.text import CountVectorizerimport jsoncorpus = []f = open("data/msmarco/collection.tsv",mode="r",encodi...

原创 csr_matrix 遍历

调用toarray()方法后即可随便遍历

原创 tfidf python 中文 实例

from sklearn.feature_extraction.text import TfidfTransformerfrom sklearn.feature_extraction.text import CountVectorizerif __name__ == "__main__": corpus = ["我 来到 北京 清华大学", # 第一个文本切词后的结果，词之间以空格...

原创 词向量 工程化 多线程 节省内存

如果有N个模型实例在内存，就要有N份词向量在内存，解决方法：在模型外面维护1个词向量库，只传该输入模型的那几个句子的每个词的词向量进去，模型内部不用embedding_lookup接口，...

原创 python BM25

安装pip install rank-bm25from rank_bm25 import BM25Okapicorpus = [ "Hello there good man!", "It is quite windy in London", "How is the weather today?"]tokenized_corpus = [doc.split(" ...

原创 python B树

安装pip install BTreesfrom BTrees.OOBTree import OOBTreet = OOBTree()t.update({1: "red", 2: "green", 3: "blue", 4: "spades"})可见BTree数据的输入格式

原创 一个向量 和 一组向量 的attention计算，mxnet实现

user_input = mx.sym.reshape(user_input_before_reshape, shape=(-1, total_group_length, eb_dim))att_user_input = mx.sym.reshape(user_input, (bs, total_group_length, eb_dim))att_node_input = mx.sym.res...

原创 python list 完全相等的坑：元素顺序不同判定为不相等

list1 = ["one","two","three"]list2 = ["one","two","three"]print(list1 == list2) # Truelist1 = ["one","three","two"]list2 = ["one","two","three"]print(list1 == list2) # False 解决办法list1 = ["one"...

原创 python list contains 判断列表是否包含另一列表

判断列表是否包含另一列表list1 = ["one","two","three"]list2 = ["one","three","two","four"]set(list1).issubset(set(list2))set(list2).issuperset(set(list1))

原创 scrapy里用的response.xpath的一键选取

原创 OpenNMT做端对端的接口使用

安装：其中requirements.txt里安装的是很新的torchtextgit clone --branch 0.9.1 https://github.com/OpenNMT/OpenNMT-py.gitcd OpenNMT-pypip install -r requirements.txt cd ..预处理：其中src-train.txt和tgt-train.txt为原始英文...

原创 TDM阅读笔记，在推荐系统的应用

《Learning Tree-based Deep Model for Recommender Systems》问题•每个商品的 向量表示/embedding 随机初始化。•每个用户的历史信息的 向量表示/embedding 随机初始化。•我们输入深度模型这两个embedding，输出他们关联程度的得分。•也就是如果我们要得到 一个用户对所有商品 的每个得分，然后排序，取出得分最高几个。...

原创 CPP做pattern match的库

OpenFst

原创 linux上maven报错：The JAVA_HOME environment variable is not defined correctly

看下mvn的源码，设置$JAVA_HOME/bin/下有java文件且检查一下可执行权限

原创 MS MARCO数据集，Passage Ranking数据格式说明

摘自https://github.com/microsoft/MSMARCO-Passage-Ranking

原创 文本聚类 baseline 实例

from sklearn.cluster import KMeansimport numpy as np# hidden_dim = 2X = np.array([[1, 2], [1, 4], [1, 0], [10, 2], [10, 4], [10, 0]])kmeans = KMeans(n_clusters=2, random_state=0).fit...

原创 transformer里的attention mask产生的 单向双向效果和xlnet里的效果

1，2，3，4是一句话的四个词，并打乱了顺序，以xlnet为例，图中，上图和下图的区别是下图扣去邪线，上图表示，1可以看到1，2可以看到2，3可以看到3，4可以看到4，下图表示，1不能看到1，2不能看到2，3不能看到3，4不能看到4，把这个mask矩阵左下角全部置0，则是单向transformer，把整个mask矩阵全部置1，则是双向transformer，回到上图，矩阵第一行...

原创 Document Expansion by Query Prediction 划重点

用doc_train和query_train训练一个生成式model，doc_test过来用model生成query_test_v2，再把doc_test和query_test_v2拼起来作为doc_test_v2，还用query_test查

原创 python 不保留float最后的0

https://stackoverflow.com/questions/2440692/formatting-floats-in-python-without-trailing-zeros注意会把类型变成str或Decimal