2018年08月_懒骨头707

12月 08月 07月 06月 05月

原创用Python实现ElasticSearch的智能搜索

一、ElasticSearch的安装针对安装ElasticSearch以及专门处理中文的IK分词，网上一搜一大把，这里就不说明了。二、文本预处理本次的文本是word文档，所以我么先进行TXT转换。转换代码如下： '''将docx转化为txt'''def docx_to_text(): wordapp = win32...

2018-08-28 17:56:35 4968

原创 Python：用机器学习方法实现搜索引擎或者智能匹配系统

1.准备工作在本文开始之前，我们首先是对原始的CSV表格的数据读取，然后分词，之后才开始进行智能匹配。csv的读取和分词都在之前的博客，所有的代码都是一个工程的。但是由于训练集是公司的数据，所以不方便放出，请谅解。但是对于训练集数据的描述CSV读取的博客中有提到。 csv的读取：https://blog.csdn.net/qq_28626909/article/deta...

2018-08-14 21:59:50 9015 10

原创 python下使用jieba分词

在本博客之前，我们先采用python处理过之前的csv数据。我们本次是用python对之前的数据进行分词处理。上一个博客链接：https://blog.csdn.net/qq_28626909/article/details/81674612#!D:/workplace/python# -*- coding: utf-8 -*-# @File : fenci.py...

2018-08-14 21:17:38 1307

原创用Python处理CSV格式的文件

如题，我直接上代码。#!D:/workplace/python# -*- coding: utf-8 -*-# @File : CSV_Cleaning.py# @Author: WangYe# @Date : 2018/7/20# @Software: PyCharmimport csvimport numpy as np# import syspath = 'C:/...

2018-08-14 21:10:01 1137

原创 windows+linux下安装spark

1.准备工作： linux：spark2.2.1+scala2.11.12+java1.8+python3.6 windows：spark2.2.1+scala2.12.4+java1.8+python3.6 由于这些版本都是对应的，python，jdk，scala这三个都要安装，一个都不能少，所以我们需要配套安装。anaconda和jdk很好下载，...

2018-08-13 21:19:42 9437 11

原创 Spark下：Java gateway process exited before sending the driver its port number等问题

如题，贴出问题： raise Exception("Java gateway process exited before sending the driver its port number")Exception: Java gateway process exited before sending the driver its port number那么大家各种搜索，但是问题不...

2018-08-13 21:19:31 28209 4