python的jieba语法_Python | os、jieba、lambda

Life is short. You need Python.

我们的机器学习课和文本分析课的老师

(好吧是同一个老师)

一直坚持着一个信条

就是Project-Oriented Learning

我不知道这样的好处是什么

也许是做出来一个东西确实会很有成就感

但是

学习的过程真的很痛苦

尤其是

像我这样的笨蛋

而且还是paranoid的笨蛋

没有TA 我也就不愿意请教其他人

就

很痛苦

今天学了几个python的方法

权当mark一下加深记忆

免得像某人一样把去年实训的东西都忘掉了

os.walk()

概述：os.walk() 方法用于通过在目录树中游走输出在目录中的文件名，向上或者向下。

语法

os.walk(top[, topdown=True[, οnerrοr=None[, followlinks=False]]])

好的这些语法格式我一向是看不懂的

总之传入1~4个参数

top ：你所要遍历的目录的地址

(可选) topdown True，则优先遍历 top 目录，否则优先遍历 top 的子目录(默认为开启)

(可选)onerror看不懂

(可选)followlinks看不懂

不管了反正我也只用了前两个

返回值 该方法没有返回值。会生成一个三元组(root,dirs,files)。

root 所指的是当前正在遍历的这个文件夹的本身的地址

dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)

files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)

今天用到它，是因为我的120个txt文档没有放在同一个文件夹里，而是分别装在120个文件夹里，这120个文件夹再装在一个文件夹里。所以好像不能直接遍历。

看我写的扣！

def read_files(root):

texts = []

for path, dirs, names in os.walk(".", topdown=False):

for name in names:

filename = os.path.join(path, name)

if re.match(".* .txt", filename): # 找到所有章节的txt文档

with open(filename, "r", encoding='utf-8') as f:

lines = f.readlines() # readlines()返回一个list

texts.extend(lines) # 每个文件的文本存到list中

return texts

以及我今天又被强迫症程序员diss了

哼

jieba

基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)

采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合

对于未登录词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法

它的算法以后再说(mark住先)，先用起来！

支持繁体分词，支持自定义词典

这就已经很棒棒了

安装 安装很简单， pip install jieba就ok了。当然出了bug不要找我，嘻嘻。

功能 有很多，我都没用过。

我只用了jieba_cut()但是它还有关键词提取和词性标注等等功能，以后再说。

jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用jieba.lcut 以及 jieba.lcut_for_search 直接返回 list。

载入词典

jieba.load_userdict(file_name) # file_name

词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频(可省略)、词性(可省略)，用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。

因为我要繁体分词所以导入了它提供的繁体辞典:

jieba.set_dictionary('data/dict.txt.big')

调整词典 add_word()和del_word()

lambda

lambda就是匿名函数。

好的其实我并不是很懂

你们自己顾名思义去吧

(photo)

简单讲，就是没有具体名称的函数

它允许快速快速定义单行函数

语法：

lambda [arg1 [, agr2,.....argn]] : expression

我今天用lambda时结合了一个过滤器，这是常见的用法。

word_tokens = list(filter(lambda token: token.isalpha(), tokens))

勉强看懂是说在tokens这个list的元素(字串)token里，只保留字符，把其他奇怪的符号剔除掉。emm我的表达能力真是不敢恭维

编码格式

这个真的好迷！

各种很迷的bug

等我搞懂了再来写！

collections

这个等我明天写完作业再来写！

嘻嘻，周末大家过得怎样？

明天又是新的一周咯。