Python将多个文件合成一个大文件，忽略非法字符

最新推荐文章于 2022-08-16 20:35:17 发布
最新推荐文章于 2022-08-16 20:35:17 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： 新技术 文章标签： python file input import
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shrekmu/article/details/8023484
版权

想把一堆文件合成一个大文件，但是里面有好多无法识别的字符，每次执行总是抱错，最后找到了codecs的ignore相当好用

import os
import codecs

#遇到非法字符时，不报错，直接写入后继续执行
wFile = codecs.open("d:\\output.log","w","utf-8","ignore")
for file in os.listdir("d\\input\\") :
	#遇到非法字符时，不报错，直接读入后继续执行
	rFile = codecs.open("d\\input\\" + file,'r',"utf-8",'ignore')
	#写入文件名
	wFile.write(file)
	#写入文件内容
	wFile.writelines(rFile.readlines())
	rFile.close()
wFile.close


shrekmu
关注
专栏目录
超详细的 Python 方法、函数总结
Amo Xiang的博客
05-17 3万+
目录阅读前必读（不看会错过一个亿）一、字符串操作1.1 capitalize() 方法——字符串首字母转换为大写1.2 casefold() 方法——所有大写字符转换为小写1.3 center() 方法——字符串居中填充1.4 count() 方法——统计字符串出现次数1.5 encode() 方法——编码字符串1.6 decode() 方法——解码字符串1.7 endswith() 方法——是否以指定子字符串结尾、startswith() 方法1.8 find() 方法——字符串首次出现的索引位置(rfi
Python基础第一周--Python语言家族
weixin_44888486的博客
11-04 1万+
在这里插入图片描述 一、Python语言家族 1 Introduction 1.1 Python 简介 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 简单来说，Python是一门编程语言，帮助我们更好的与计算机沟通，功能全面、易学易用、可拓展语言，所以说，人生苦短，我学Python。 Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的...
python过滤非法字符
qq_492448446的博客
08-16 1106
python过滤非法字符
Python读写文件与非法字符处理
yanjiaxin1996的博客
04-28 8853
项目需要对一些如doc、docx、txt等常见格式的文件进行分词处理，之前只用Python的jieba库进行过简单的中文分词，效果不错，但是只能读取txt文件，功能受限。今天查阅了一些论坛，将doc转换为docx，成功读取docx文件并分词，并解决了txt读取的非法字符问题（docx和doc的暂未解决）三个地方。下面将分别介绍三者如何实现。一、将doc转换为docx参照链接：python大批量读写...
Python排除非法字符干扰读取UTF-8文件
luckyeddie的博客
12-13 4393
最近做一个关于正则匹配的项目，用open()打开UTF-8格式的文件，读取每一行的内容;由于一些文件中存在非UTF-8标准的字符，脚本执行会报错。在debug过程中发现，实际上不论你写的是read(1)(读取一个字节的内容)还是readline()(读取一行的内容)，python库函数会一次性读取一大块内容，一旦这块数据中有非法字节，整个调用就会出错。 例如以下代码读取每一行内容并打印，实际上含有...
Python 机器学习经典实例
GitChat
04-12 2万+
内容介绍 在如今这个处处以数据驱动的世界中，机器学习正变得越来越大众化。它已经被广泛地应用于不同领域，如搜索引擎、机器人、无人驾驶汽车等。本书首先通过实用的案例介绍机器学习的基础知识，然后介绍一些稍微复杂的机器学习算法，例如支持向量机、极端随机森林、隐马尔可夫模型、条件随机场、深度神经网络，等等。 用最火的 Python 语言、通过各种各样的机器学习算法来解决实际问题！ 书中介绍的主要问题如下。 ...
Python 进阶学习笔记之九：IO 编程
zombres的博客
10-16 345
IO 操作是所有高级编程语言中的重点，本文章详细介绍来 Python 中关于常见 IO 操作的相关接口，包括基本的文件读写、StringIO/BytesIO、目录操作等
logistic模型 python_机器学习模型4 Logistic回归-基于Python sklearn的实现
weixin_39906245的博客
12-11 401
1、模型原理(另一台电脑上，待补充)回顾下线性回归的损失函数，由于线性回归是连续的，所以可以使用模型误差的的平方和来定义损失函数。但是逻辑回归不是连续的，自然线性回归损失函数定义的经验就用不上了。不过我们可以用最大似然法来推导出我们的损失函数。2、Python3中sklearn关于Logistic回归的代码实现(1)概述在scikit-learn中，与逻辑回归有关的主要是这3个类。Logistic...
python实现将多个txt文件合并成一个txt文件程序
邹小驴
09-29 4259
import os dirPath = "/media/pc" #所有txt位于的文件夹路径 files = os.listdir(dirPath) res = "" i = 0 for file in files: if file.endswith(".txt"): i += 1 title = "第%s章 %s" % (i, file[0:len(fi...
多个文件合成一个大文件，python脚本
RainMen
08-16 1052
更新一个简单的小程序，用于把单个小文件以追加写入的方式合成一个大文件。平时用的比较多，所以懒得写了。 import os c_dir = '....' # 这里输入单个文件所在的目录 for root, dirs, files in os.walk(c_dir): for filename in files: if filename.endswith('.txt'):...
Python读取文件忽略文件中空行
learner____的博客
11-21 1万+
读取大量文件时，通常采用readline方法，但如果出现空行情况则需要忽略此时的空行。 在网上找了大量代码，发现多数单纯利用strip（）方法，但经过实践我发现处理数据时会造成直接不读取空行之后的问题。 最后，终于自己学习了相关知识，自己写了一个方法利用isspace（）方法，在这留下存档。 def create_car_info(file_name, result_path): ...
python非法字符怎么处理_如何彻底清除python中的非法字符字符串？
weixin_39662462的博客
11-29 2521
我的程序有一个特性，用户可以上传一个csv文件，我的程序通过它作为输入。我有一个用户抱怨他的输入出现错误。该错误是由于存在编码错误的非法字符造成的。字符如下：�有时它看起来像一颗带“？”的钻石在中间，有时它看起来像一个带有“？”的双钻石在中间，有时显示为“\xa0”，有时显示为“\xa0\xa0”。在我的程序中，如果我这样做：print str_with_weird_char这条线会出现在我的终端...
python将某一目录下的多个文件合并为一个文件
立身以力学为先，力学以读书为本。 —郑耕老《劝学》
07-03 4062
import os import shutil #get names of files in the directory def get_filename(filepath,filetype): import os filename = [] for root,dirs,files in os.walk(filepath): for i in files
Python学习笔记（一）转码问题的解决的解决方法：“ignore”
无敌嗨猫的博客
05-15 1万+
Python转码问题的解决：“ignore”若希望将Json文件转化为python形式的Unicode字符串，可以如下操作unicodestr = json.loads(html.decode("gbk"))但在实际开发中，这种办法时常会出现异常：UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 205: ille...
python读取文本内容忽略空格_python打开文本文件，每个字符之间有一个空格
weixin_39894914的博客
12-02 489
Whenever I try to open a .csv file with the python commandfread = open('input.csv', 'r')it always opens the file with spaces between every single character. I'm guessing it's something wrong with the...
Python多个数组合并
#include
02-27 3万+
Python中多个数组合并为一个数组的方法整理。 extend方法 该方法可以扩展数组，会改变原始数组。 a = [1,2,3,4,7,5,6] b = ['a','b'] c = ['h',12,'c'] a.extend(b) a.extend(c) print(a) #结果：[1, 2, 3, 4, 7, 5, 6, 'a', 'b', 'h', 12, 'c'] 直接相加 用+将各数组...
Python实现读取多个/批量txt文件合并成一个txt（示例为tcga数据处理）
热门推荐
iin729的博客
06-03 6万+
实现批量txt的读取并合并到一个txt中进行输出，主要用于tcga数据的预处理
Python实现大文件分割与多线程处理教程
这个功能通常用于将一个大的文本文件拆分成多个小文件，以便于管理和处理。在示例中，它接受一个文件路径和每个小文件期望的行数作为参数。通过逐行读取原始文件，并在达到指定行数时创建新的文件，将剩余内容写入新...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值