2018年08月_余康-数据研究，足球迷弟

原创 python用Levenshtein计算文本相似度（附带所有个人对函数的理解）

安装 Levenshtein 报错问题点击：解决安装python-Levenshtein时出现“Unable to find vcvarsall.bat”错误#! /usr/bin/python# -*- coding: utf8 -*-# @Time : 2018/8/30 10:11# @Author : yukangfrom Levenshtein import *...

2018-08-30 13:30:02 13606 1

原创解决安装python-Levenshtein时出现“Unable to find vcvarsall.bat”错误

安装过程：1.pip install python-Levenshtein 或下载包到本地，在cd到目录下运行 python setup.py install 我用的是第二种方式；2.此过程中报错 unable to find vcvarsall.bat；详细解决方案见：https://blog.csdn.net/fyuanfena/article/details/520...

2018-08-30 11:44:55 7992 1

转载各种相似度计算的python实现

来源：本文转载地址(注：相对转载代码做了一些改动)前言在数据挖掘中有很多地方要计算相似度，比如聚类分析和协同过滤。计算相似度的有许多方法，其中有欧几里德距离、曼哈顿距离、Jaccard系数和皮尔逊相关度等等。我们这里把一些常用的相似度计算方法，用python进行实现以下。如果是初学者，我认为把公式先写下来，然后再写代码去实现比较好。欧几里德距离几个数据集之间的相似度一般是基于...

2018-08-30 11:18:16 22292 5

原创 jieba分词中所有词性对应字母符号显示（词性列表及符号表示）

1. 名词 (1个一类，7个二类，5个三类)n 名词nr 人名nr1 汉语姓氏nr2 汉语名字nrj 日语人名nrf 音译人名ns 地名nsf 音译地名nt 机构团体名nz 其它专名nl 名词性惯用语ng 名词性语素2. 时间词(1个一类，1个二类)t 时间词tg 时间词性语素3. 处所词(1个一类)s 处所词 (家中、门外、境内、西方……)4. 方位词(...

2018-08-30 10:09:43 7572 5

原创 jieba中文分词,关键词提取,词性标注,并行分词,起止位置,文本挖掘,NLP自然语言处理

1. NLP 走近自然语言处理概念 Natural Language Processing/Understanding，自然语言处理/理解日常对话、办公写作、上网浏览希望机器能像人一样去理解，以人类自然语言为载体的文本所包含的信息，并完成一些特定任务内容中文分词、词性标注、命名实体识别、关系抽取、关键词提取、信息抽取、依存分析、词嵌入……应用篇章理解、文本摘要、情感分析、...

2018-08-30 10:07:09 5191 1

原创深入jieba和NLTK提取文本词向量，词性等

#! /usr/bin/python# -*- coding: utf8 -*-# @Time : 2018/8/29 15:15# @Author : yukangimport nltk,jieba,reimport jieba.analyseimport jieba.posseg as psegfrom nltk.probability import FreqDist...

2018-08-30 09:36:45 6948

原创 NLTK：Resource punkt not found. Please use the NLTK Downloader to obtain the resource:2步解决

打开CMD 命令进入Python交互模式>>> import nltk >>> nltk.download()会弹出一个界面，如图：点击Models ,双击punkt或者选择点击Download安装完成就不会报错了。 ...

2018-08-29 15:50:08 12002 5

原创 error:Unable to find vcvarsall.bat 最简单直接彻底的解决方案

其他安装同理以下。不少第一次尝试爬虫的小伙伴在安装scrapy或者scrapy-Redis的Windows安装过程都会遇到的问题。记得我第一次也搞了半天，网上很多模棱两可，看不是很明白。今天突然想记录一下。第一步:登陆： http://www.lfd.uci.edu/~gohlke/pythonlibs 搜索： twisted看到如图：第二步：...

2018-08-16 11:53:45 12900 15

转载 linux（服务器）下安装python3

由于centos7原本就安装了Python2，而且这个Python2不能被删除，因为有很多系统命令，比如yum都要用到。[root@iZuf6ititjgl7x9tgf1cyiZ ~]# pythonPython 2.6.6 (r266:84292, Aug 18 2016, 15:13:37) [GCC 4.4.7 20120313 (Red Hat 4.4.7-17)] on lin...

2018-08-09 10:19:49 9534

原创简述ES（ElasticSearch入门简介）

根据ES的官方文档，可以简单定义以下3点：1 .一个分布式的实施文档存储，每个字段可以被索引与搜索2 .一个分布式实时分析搜索引擎3 .可以胜任上百个服务节点的扩展，并支持PB级别的结构化或者非结构化数据。 Elasticsearch请求和HTTP请求类似，由以下几个相同的部件构成curl -X<VERB>'<PROTOCOL>://<HOST...

2018-08-03 11:22:08 25867 4

Python开发工程师