python 文件 读取 指针 复位_python对读取的文件内容进行分词

分词，即将连续的字序列按照一定的规范重新组合成词序列的过程，它是一种自然语言处理技术，这里的分词指中文分词，其本质是提取一个字符串中的词组或者字。

其详细代码非常简单，如下：

#导入jieba分词模块
import jieba
#记录输入的文件路径
filepath = input('请输入要读取的文件：')
#打开文件
with open(filepath,encoding='utf-8') as f:
    #读取文件内容并分词
    words = jieba.lcut(f.read())
    #替换换行符
    print(words)

结果：

['1', '.', '用', '代码', '行数', '来', '评估', '程序', '的', '开发进度', '，', '就', '好比', '拿', '重量', '来', '评估', '一个', '飞机', '的', '建造', '进度', '\n', '2', '.', '程序', '不是', '年轻', '的', '专利', '，', '但是', '，', '它', '属于', '年轻', '\n', '3', '.', '作为', '一个', '程序员', '，', '郁闷', '的', '事情', '是', '，', '面对', '一个', '代码', '块', '，', '缺', '不敢', '去', '修改', '。', '更', '糟糕', '的', '是', '，', '这个', '代码', '块', '还是', '自己', '写', '的']