用python读取某文件夹里所有文件的内容，然后用正则表达式匹配提取文件中需要的内容，用jieba分词后按比例划分数据集（包含读取json文件，存储、读取csv文件）

最新推荐文章于 2024-07-28 10:36:39 发布

qq_41796035

最新推荐文章于 2024-07-28 10:36:39 发布

阅读量1.7k

点赞数

分类专栏： python编程练习文章标签： python 自然语言处理

本文链接：https://blog.csdn.net/qq_41796035/article/details/111693298

版权

该博客介绍了如何使用Python读取文件夹中所有文件的内容，通过正则表达式提取所需信息，利用jieba进行分词处理，并按比例划分数据集。同时涉及了读取与存储JSON及CSV文件的操作。

摘要由CSDN通过智能技术生成

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

解决的问题

1、用python读取某文件夹里所有文件的内容。

2、用正则表达式匹配提取文件中需要的内容。

3、用jieba进行分词。

4、按比例划分数据集。

5、读取json文件，存储、读取csv文件。

1、引入库，设置路径

import os
import json
import re
import pandas as pd
path = './da'
#path = './task'
s = []
l = []

2、读取文件夹里所有文件的数据，并且匹配要提取的内容

l = os.listdir(path)     #把文件夹中的文件名以文本的形式放入列表
#print(l)              
for i in l:              #遍历每一个文件名
    if 'json' not in i:  #跳过不是json的文件
        continue
    p = []
    k = path+'/'