毕设知识点总结——part1.分词

• Sequence类型
  Sequence是Python的一种内置类型（built-in type），内置类型就是构建在Python Interpreter里面的类型，三种基本的Sequence Type是list（表），tuple（定值表，或翻译为元组），range（范围）。可以看作是Python Interpreter定义了这样三个class。
  字符串也是一种序列。

• RuntimeError: NLPIR function ‘NLPIR_Init’ failed.
  说明 pynlpir的library的授权过期了解决方法
  可到github上下载新的授权：https://github.com/NLPIR-team/NLPIR/tree/master/License，并将新的授权放到data文件夹下，并重启项目，再次测试分词程序，分词成功。
  我用到的是分词的功能，提供分词的license for a month 一个月的有效期，如果失效再去网上下载新的授权覆盖源文件即可 NLPIR.user
  注意一定要用正确的方式下载！

• pynlpir, nlpir 的python端接口, 通过python 使用nlpir / ictclas 2015
  如果有pip 的话，直接pip install pynlpir #最新版本在4.0
  项目地址在https://github.com/tsroten/pynlpir；

• 有时候list index out of range的意思不是列表存不下了，是对应列表的编号不存在而已

• 定义了空列表后不能对其索引
  ，如：

content = []
for i in range(1,3):
    content[i] = table.cell(i, 5)
#会报错

• 在python2.7下，将字符串写入到文件时会出现”UnicodeEncodeError: ‘ascii’ codec can’t
  encode character u’\xa0’ in
  position”的错误,原因是由于python基于ASCII处理字符的，当出现不属于ASCII的字符时，会出现错误信息。 解决：
  指定文件字符集为utf-8 在文件头部加入以下代码：

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

• Python strip() 方法用于移除字符串头尾指定的字符（默认为空格）。
  语法
  strip()方法语法：
  str.strip([chars]);
• dict.items()方法返回字典的(键，值)元组对的列表
• python中的os.path.join()是在拼接路径的时候用的
  os.path.join(“home”, "me", "mywork")
  在Linux系统上会返回
  “home/me/mywork"
  在Windows系统上会返回
  "home\me\mywork"
  好处是可以根据系统自动选择正确的路径分隔符”/”或”\”
• docs_matrix.shape[1] 读取二维矩阵docs_matrix的第二维度Docs_matrix=
[[ 0. 0. 0. ..., 0. 0. 0.]
[ 0. 1. 0. ..., 13. 0. 0.]
[ 0. 0. 4. ..., 0. 0. 2.]
[ 0. 0. 0. ..., 0. 0. 0.]
[ 1. 0. 0. ..., 0. 0. 0.]]
  则
  docs_matrix[:,2] =[ 0. 0. 0. 4. 0. 0.]
  相当于第三列
• np.nonzero(docs_matrix[:, 2])
  (array([3], dtype=int64),)
  nonzeros(a)返回数组a中值不为零的元素的下标，本例中为第四行第三列的元素4的列的下标，它的返回值是一个长度为a.ndim(数组a的轴数)的元组，元组的每个元素都是一个整数数组，其值为非零元素的下标在对应轴上的值。
  所以np.nonzero(docs_matrix[:, 2])[0]即为第3列不为零的元素的下标
  len(np.nonzero(docs_matrix[:, i])[0])即为第i列中不为零的元素的个数

• `column_sum = [float(len(np.nonzero(docs_matrix[:, i])[0])) for i in
  range(docs_matrix.shape[1])]

  x = [1 for i in range(n)]`
  是n个1组成的列表 [1,1,…] 和 x = [1] * n 一个效果

  所以column_sum = [float(len(np.nonzero(docs_matrix[:, i])[0])) for i in
range(docs_matrix.shape[1])]为每列不为零的元素的个数组成的列表

---

Python中的join()函数的用法

函数：string.join()

Python中有join()和os.path.join()两个函数，具体作用如下：
join()： 连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串
os.path.join()： 将多个路径组合后返回

一、函数说明
1、join()函数

语法： ‘sep’.join(seq)

参数说明
sep：分隔符。可以为空
seq：要连接的元素序列、字符串、元组、字典
上面的语法即：以sep作为分隔符，将seq所有的元素合并成一个新的字符串

返回值：返回一个以分隔符sep连接各个元素后生成的字符串

2、os.path.join()函数

语法： os.path.join(path1[,path2[,……]])

返回值：将多个路径组合后返回

注：第一个绝对路径之前的参数将被忽略

#对序列进行操作（分别使用' '与':'作为分隔符）

>>> seq1 = ['hello','good','boy','doiido']
>>> print ' '.join(seq1)
hello good boy doiido
>>> print ':'.join(seq1)
hello:good:boy:doiido


#对字符串进行操作

>>> seq2 = "hello good boy doiido"
>>> print ':'.join(seq2)
h:e:l:l:o: :g:o:o:d: :b:o:y: :d:o:i:i:d:o


#对元组进行操作

>>> seq3 = ('hello','good','boy','doiido')
>>> print ':'.join(seq3)
hello:good:boy:doiido


#对字典进行操作

>>> seq4 = {'hello':1,'good':2,'boy':3,'doiido':4}
>>> print ':'.join(seq4)
boy:good:doiido:hello


#合并目录

>>> import os
>>> os.path.join('/hello/','good/boy/','doiido')
'/hello/good/boy/doiido'

python模块之codecs: 自然语言编码转换

#-*- encoding: gb2312 -*-
import codecs, sys
# 用codecs提供的open方法来指定打开的文件的语言编码，它会在读取的时候自动转换为内部unicode
bfile = codecs.open("dddd.txt", 'r', "big5")
#bfile = open("dddd.txt", 'r')

ss = bfile.read()
bfile.close()
# 输出，这个时候看到的就是转换后的结果。如果使用语言内建的open函数来打开文件，这里看到的必定是乱码
print ss, type(ss)

两种读取txt文件有多少行的办法：

f = open('stopwords.txt','r')
lines = f.readlines()
f.close()
n=0
for line in lines:
    n = n+1
print(n)

或者

count = len(open(r"stopwords.txt",'rU').readlines())
print count

（适用于文件比较小时）
或者

count1 = -1

for count1, line in enumerate(open(r"stopwords.txt", 'rU')):
    pass
count1 += 1

print count1

（适用于文件比较大）
或者

count1 = 0

thefile = open(r"stopwords.txt", 'rb')

while True:
    buffer = thefile.read(1024 * 8192)
    if not buffer:
        break
    count1 += buffer.count('\n')
thefile.close()

print count1

（更好的办法）

python排序 sorted(key=lambda)