文本预处理

1、分词

结巴分词：

string = '电池充完了电连手机都打不开.简直烂的要命.真是金玉其外,败絮其中!连5号电池都不如'
words = jieba.lcut(string)  # 直接返回list
for word in jieba.cut(string):
    print(word)   # 通过迭代输出结果
print(words)

带有词性的结巴分词：

string = '电池充完了电连手机都打不开.简直烂的要命.真是金玉其外,败絮其中!连5号电池都不如'
words = jieba.posseg.cut(string)  # 直接返回list
s = ''
for w in words:
    if len(w.word) > 1 and w.flag == 'n':
        s = s + w.word + ' '
print(s)

np.contenate的用法：

import numpy as np
a = np.array([[1, 2], [3, 4]])
b = np.array([[5, 6]])
c = [1, 2]
d = [2, 3]
print(a)
print(np.concatenate((c, d)))  # [1 2 2 3]
print(np.concatenate((a, b)))  # [[1 2]
                                  [3 4]
                                  [5 6]]