CG, DCG, IDCG, NDCG的实现

import numpy as np class Solution(object): def __init__(self, relevance, p=6): """ https://en.wikip...

2018-12-18 14:15:41

阅读数 85

评论数 0

auc evaluation

an approximate way to calculate auc(area under the curve):   import fire import numpy as np import pandas as pd from scipy.misc import comb from s...

2018-09-21 10:50:44

阅读数 43

评论数 0

python时间与时间戳之间的转换

在字符串与时间戳之间的相互转换应用很广,这里没考虑时区,默认的是本地时区 #!/usr/bin/env python # -*- coding: utf-8 -*- # created by fhqplzj on 2017/11/14 上午9:28 import time from dateti...

2017-12-25 12:13:19

阅读数 366

评论数 0

python去重,一个由dict组成的list的去重

背景:有一个list,里面的每一个元素都是dict,根据某一个key进行去重,在这里,key代表question #!/usr/bin/env python # -*- coding: utf-8 -*- # created by fhqplzj on 2017/12/07 上午11:38 fr...

2017-12-07 13:57:55

阅读数 1509

评论数 1

java加密解密AES实现

加密时,先用AES加密,再用base64加密;解密时,先用base64解密,再用AES解密。 import org.apache.commons.io.FileUtils; import sun.misc.BASE64Decoder; import sun.misc.BASE64Encoder;...

2017-11-22 10:36:35

阅读数 228

评论数 0

对语料库的每一个句子的每一个单词加权重

包括预处理,使用tfidf加权重 #!/usr/bin/env python # -*- coding: utf-8 -*- # created by fhqplzj on 2017/05/15 上午10:48 import itertools import re import jieba f...

2017-08-10 10:45:45

阅读数 435

评论数 0

句子相似度计算的几种方法

雅可比相似度,余弦相似度,带tfidf的余弦相似度 #!/usr/bin/env python # -*- coding: utf-8 -*- # created by fhqplzj on 2017/07/22 上午12:23 import numpy as np from scipy.lin...

2017-08-09 19:16:29

阅读数 4411

评论数 0

tfidf给每个词加权重

先分词,再给每个单词加权重,norm1: #!/usr/bin/env python # -*- coding: utf-8 -*- # created by fhqplzj on 2017/05/15 上午10:48 import itertools import jieba from si...

2017-08-09 19:14:16

阅读数 922

评论数 0

MiniBatchKMeans简单应用

MiniBatchKMeans比KMeans快很多,效果也不错,应用于文本聚类如下: #!/usr/bin/env python # -*- coding: utf-8 -*- from __future__ import print_function import logging impor...

2017-08-07 11:06:15

阅读数 1054

评论数 0

spark或者mapreduce文档相似度计算

计算pairwise文档相似度一般来说是n2复杂度的,最近看了看一篇比较老的论文:Pairwise Document Similarity in Large Collections with MapReduce,采用了一种两阶段的方案,先以词为单位建立倒排,再计算相似度,写了代码进行实现,如下: ...

2017-07-21 14:48:42

阅读数 400

评论数 0

spark构建图graphx

import org.apache.spark.graphx.{Edge, Graph} import utility.Helpers import scala.collection.mutable /** * Created by fhqplzj on 2017/7/20. */ o...

2017-07-21 11:54:50

阅读数 428

评论数 0

基于协程的异步爬虫

基于tornado框架的异步爬虫小例子: #!/usr/bin/env python # -*- coding: utf-8 -*- # created by fhqplzj on 2017/07/19 下午5:48 import logging import time from datetim...

2017-07-19 19:44:49

阅读数 274

评论数 0

phantomjs例子1

#!/usr/bin/env python # -*- coding: utf-8 -*- # created by fhqplzj on 2017/07/15 下午3:38 import os import re from urlparse import urljoin from gensim...

2017-07-15 16:37:30

阅读数 229

评论数 0

javascript版本的最长公共子序列

初学js,拿个lcs问题练练手: /** * Created by fhqplzj on 2017/7/15. */ function lcs(s1, s2) { var m = s1.length, n = s2.length; var dp = new Array(m +...

2017-07-15 11:16:29

阅读数 431

评论数 0

javascript小例子

创建表: /** * Created by fhqplzj on 2017/7/13. */ function create_table(n_rows, n_cols) { var table = ''; for (var i = 1; i <= n_rows; i++...

2017-07-13 15:34:09

阅读数 148

评论数 0

mysql中文编码问题,改变mysql编码为utf8

改变编码为utf8编码,主要是alter database和alter table两个命令。 命令为: ALTER DATABASE database_name CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; ALTER TABLE tabl...

2017-07-11 18:58:38

阅读数 163

评论数 0

带有xavier初始化、dropout的多层神经网络

#!/usr/bin/env python # -*- coding: utf-8 -*- # created by fhqplzj on 2017/07/07 下午3:22 import random import matplotlib.pyplot as plt import tensorf...

2017-07-08 15:25:37

阅读数 576

评论数 0

一个scrapy爬虫例子

爬虫的关键在于xpath或css路径的构建,下面是一个小例子,有点粗糙,以后再研究: #!/usr/bin/env python # -*- coding: utf-8 -*- # created by fhqplzj on 2017/06/30 下午5:08 import itertools ...

2017-07-01 10:30:38

阅读数 354

评论数 0

Doc2Vec简单例子

Doc2Vec基于Word2Vec,作用是把一个段落,或者一个句子,一篇文档转化为一个向量,下面是简单的例子: #!/usr/bin/env python # -*- coding: utf-8 -*- # created by fhqplzj on 2017/06/30 上午11:34 &qu...

2017-06-30 14:48:06

阅读数 2665

评论数 0

scrapy爬虫小例子

scrapy有两种定位元素的方法css和xpath,下面的例子爬取了5a级景区的名单: #!/usr/bin/env python # -*- coding: utf-8 -*- # created by fhqplzj on 2017/06/29 下午3:34 import scrapy fr...

2017-06-29 15:49:53

阅读数 303

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭