“智能问诊”项目——数据处理（1）

经过之前一周的工作，我已经成功的把网站上的数据爬取下来并保存到了数据库中，接下来就要对爬取到的数据进行处理了。

首先，由于我们爬取到的数据都是自然语言，比如适应症的描述都是类似于“用于冠动脉粥样硬化心脏病的治疗”这样的，给我们进行搜索和查询带来了不少的困难，所以我们最先要做的就是分词，即将自然语言分解为一个个的词组，然后再经过筛选去除没用的词语，留下有用的作为关键词。

分词通常有三种方法，一是手动分词，优点是准确度高，缺点是效率低、时间成本高，二是手写字符串处理，根据自定义字典进行匹配，去除无用信息，缺点也是效率太低、时间成本高，第三种方法就是调用第三方的分词工具，虽然开源的分词工具准确率差强人意，对于一些专业词汇不能解决歧义，但这是最为简便的一种方法了。

第三方的分词工具有很多，这里我选用的是“jieba”，这是一款基于Python的中文分词工具

• 支持三种分词模式：

  • 精确模式，试图将句子最精确地切开，适合文本分析；

  • 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

  • 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

• 支持繁体分词

• 支持自定义词典

具体功能介绍以及环境配置方法见 http://www.oschina.net/p/jieba/

测试代码如下

#encoding=utf-8
import jieba

seg_list = jieba.cut("用于急、慢性肝炎、肝硬化、脂肪肝等的辅助治疗.",cut_all=True)
print ("Full Mode:", "/ ".join(seg_list)) #全模式

seg_list = jieba.cut("用于急、慢性肝炎、肝硬化、脂肪肝等的辅助治疗.",cut_all=False)
print ("Default Mode:", "/ ".join(seg_list)) #精确模式

seg_list = jieba.cut("用于冠动脉粥样硬化心脏病的治疗。") #默认是精确模式
print (", ".join(seg_list))

seg_list = jieba.cut_for_search("广谱抗真菌药，用于手癣、足癣、体癣、股癣等真菌感染引起的各种皮肤癣症的治疗。") #搜索引擎模式
print (", ".join(seg_list))

使用效果如图

完成分词工具的配置后，接下来我们要做的就是将数据库中自然语言的描述转化为关键词，这就涉及到对数据库的操作了。

Python对数据库操作需要用到import pymssql，要提前进行配置，具体方法见http://www.cnblogs.com/lrzy/p/4346781.html

需要注意的是，由于Mac默认预装了Python 2.7，而我又自己装了3.6.2，导致用pip install pymssql安装pymssql模块时会默认安装到Python 2.7的目录下，导致我用3.6.2运行时还是会找不到pymssql的包，这时就需要指定安装目标，即pip3 install pymssql

配置完成后正确设置数据库信息就可以对数据库进行操作了。

通过navicat for sql server的Queries可以用SQL语句对数据库进行修改，这种方法与命令行相似，但是想要一次性处理大量数据时就要结合Python了，方法是将SQL语句以字符串形式传入navicat for sql server，例如

InsertSQL="INSERT INTO keyword (name) VALUES ('%s')"%u'test'

需要注意的是，由于传入的是字符串，所以变量不能直接写在引号中传，例如

INSERT INTO keyword (name,num) VALUES ('n,number')

就应该写成

InsertSQL="INSERT INTO keyword (name,num) VALUES ('"+ n +"',"+str(number)+")"

这样差不多就没问题了， 但是实际运行中却出现了一些问题，就是程序会莫名其妙的崩溃，而且每次运行出错的位置都不一样，无法复现，我怀疑是网络不稳定所导致的，于是就强行阻止抛出异常，像这样

这样虽然解决了程序异常停止的问题，但是导致出现异常的词丢失，还可以进一步优化。

附源码

# -*- coding:utf-8 -*-

import jieba
import pymssql

class MSSQL:
    def __init__(self,host,user,pwd,db):
        self.host = IP
        self.user = USER
        self.pwd = PASSWORD
        self.db = "Database"

    def __GetConnect(self):
        if not self.db:
            raise(NameError,"没有设置数据库信息")
        self.conn = pymssql.connect(host=self.host,user=self.user,password=self.pwd,database=self.db,charset="utf8")
        cur = self.conn.cursor()
        if not cur:
            raise(NameError,"连接数据库失败")
        else:
            return cur

    def ExecQuery(self,sql):
        cur = self.__GetConnect()
        cur.execute(sql)
        resList = cur.fetchall()

        #查询完毕后必须关闭连接
        self.conn.close()
        return resList

    def ExecNonQuery(self,sql):
        cur = self.__GetConnect()
        cur.execute(sql)
        self.conn.commit()
        self.conn.close()

ms = MSSQL(host=IP,user=USER,pwd=PASSWORD,db="Database")
reslist = ms.ExecQuery("select 适应症 from data")
number = 1
for i in reslist:
    word = list(jieba.cut(str(i),cut_all=False))#精确模式
    for n in word:
        if n != '\'':
            InsertSQL="INSERT INTO keyword (name,num) VALUES ('"+ n +"',"+str(number)+")"
            print (InsertSQL)
            try:
                ms.ExecNonQuery(InsertSQL.encode('utf-8'))
            except  Exception:
                print('error')
                continue
    number += 1