利用Python进行文本分类

** 利用Python进行文本分类,
可用于过滤垃圾文本

1. 抽样
2. 人工标注样本文本中垃圾信息
3. 样本建模
4. 模型评估
5. 新文本预测
   参考:
   http://scikit-learn.org/stable/user_guide.html
   PYTHON自然语言处理中文翻译 NLTK Natural Language Processing with Python 中文版
   主要步骤:
6. 分词
7. 特征词提取
8. 生成词-文档矩阵
9. 整合分类变量
10. 建模
11. 评估
    **

** 7. 预测新文本 **

**
**

---

    #示例
    #!/usr/bin/env python
    # -*- coding:utf-8 -*-
    import MySQLdb
    import pandas as pd
    import numpy as np
    import jieba
    import nltk
    import jieba.posseg as pseg
    from sklearn import cross_validation
    
    #1. 读取数据,type为文本分类,0/1变量
    df = pd.read_csv('F:\csv_test.csv',names=['id','cont','type'])
    
    #2. 关键抽取
    cont = df['cont']
    tagall=[]
    for t in cont:
            tags = jieba.analyse.extract_tags(t,kn)
            tagall.append(tag