** 利用Python进行文本分类,
可用于过滤垃圾文本
- 抽样
- 人工标注样本文本中垃圾信息
- 样本建模
- 模型评估
- 新文本预测
参考:
http://scikit-learn.org/stable/user_guide.html
PYTHON自然语言处理中文翻译 NLTK Natural Language Processing with Python 中文版
主要步骤: - 分词
- 特征词提取
- 生成词-文档矩阵
- 整合分类变量
- 建模
- 评估
**
** 7. 预测新文本 **
**
**
#示例
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import MySQLdb
import pandas as pd
import numpy as np
import jieba
import nltk
import jieba.posseg as pseg
from sklearn import cross_validation
#1. 读取数据,type为文本分类,0/1变量
df = pd.read_csv('F:\csv_test.csv',names=['id','cont','type'])
#2. 关键抽取
cont = df['cont']
tagall=[]
for t in cont:
tags = jieba.analyse.extract_tags(t,kn)
tagall.append(tag