python判断文件或字符串的编码格式是否为UTF-8

最新推荐文章于 2023-04-26 16:34:26 发布
VIP文章 最新推荐文章于 2023-04-26 16:34:26 发布
阅读量5.4k 收藏 1
点赞数
分类专栏： python学习 固件安全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Homewm/article/details/90521772
版权

首先了解一下UTF-8编码格式，UTF8算是一种自适应的，长度不定，兼容ASCII编码。

byte数为5、6的都不使用了，讨论前面的byte数为1、2、3、4的四种情况。

def detectUTF8(file_name):
    state = 0
    line_num = 0
    file_obj = open(file_name)
    all_lines = file_obj.readlines()
    file_obj.close()
    for line in all_lines:
        line_num += 1
        line_len = len(line)
        for index in range(line_len):
最低0.47元/天 解锁文章
不愿透露姓名的菜鸟
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python判断文件和字符串编码类型的实例
01-20
python判断文件和字符串编码类型可以用chardet工具包，可以识别大多数的编码类型。但是前几天在读取一个Windows记事本保存的txt文件时，GBK却被识别成了KOI8-R，无解。 然后就自己写了个简单的编码识别方法，代码如下： coding.py # 说明：UTF兼容ISO8859-1和ASCII，GB18030兼容GBK，GBK兼容GB2312，GB2312兼容ASCII CODES = ['UTF-8', 'UTF-16', 'GB18030', 'BIG5'] # UTF-8 BOM前缀字节 UTF_8_BOM = b'\xef\xbb\xbf' # 获取文件编码类型 def
Python读取非UTF-8编码文件出错的解决办法
csdnhundan的专栏
03-16 3376
虽然现在大多数文本内容Python都是可以读取的，利用f=open().read()即可把文本内容赋予变量f，但是对于某些刺儿头，比如gbk编码的文本，这招就不能用了。为此，当遇到非UTF-8编码的文件时，请用codecs.open 代替.open具体用例如下： import codecs f=codecs.open(file,'r','utf-8').read() 大功告成，下回再
Python读取文件，检测文件编码及去除UTF8 BOM
CrystalPurple的专栏
05-11 5522
对于Python来说，什么都好，就是编码问题真是让人头疼。当然，明白原理后自然没什么了，可各种命令行窗口、IDE的实现不同，导致此问题更糟糕。 之前使用的时候，应该是把Python的处理方式搞懂了的，但是今天忘了处理UTF-8文件头BOM这件事。 Python问题解决参考：http://blog.csdn.net/lxdcyh/article/details/4018054 先在来讲一下关于
Python chardet模块，在默认编码为utf-8的情况下，检测中文编码错误，不是utf-8（应该是utf-8的）
wwl15840210640的博客
07-08 979
Python chardet模块，在默认编码为utf-8的情况下，检测中文编码错误，不是utf-8（应该是utf-8的） # -*- coding: utf8 -*- import os import chardet import sys reload(sys) sys.setdefaultencoding("utf8") if __name__ == '__main__': print sys.getdefaultencoding() temp = u"滴" temp = t
python 检测是否是UTF-8编码
liyadian的博客
07-26 9703
        UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，又称万国码，由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码Unicode字符。用在网页上可以统一页面显示中文简体繁体及其它语言（如英文，日文，韩文）。           由于我们使用正则表达式...
Python找出包含非UTF8字符的记录
weixin_33790053的博客
06-24 643
2019独角兽企业重金招聘Python工程师标准>>> ...
彻底搞清楚python字符编码
任我行的博客
08-04 358
文章目录一、编码类型1、ascci码2、unicode3、utf-84、GBK二、为什么要转码？情况一（自身文件编码问题）情况二（客户端编码问题）情况三：读取外部文件时，出现乱码三、编码怎么转换 在讨论python编码之前，我先了解了几种编码的由来。 一、编码类型 1、ascci码 ascci码由美国人发明，用1个字节（byte）存储英文和字符，前期用了128个，后来新加了其他欧洲国家的符号，128~255这一段。 256个字符，基本上就是键盘上的所有字符。 2、unicode 2个byte，65535。因
python utf编码 查询_python的编码判断_unicode_gbk/gb2312_utf8（附函数）
weixin_39596668的博客
12-10 283
python中， 我们平常使用最多的三种编码为 gbk/gb2312, utf8 , unicode。 而python中并没有一个函数来进行 编码的判断。今天，主要对这三种编码进行讨论，并给出区分这三种编码的函数。我们知道，unicode编码是1位 gbk，gb2312是2位 utf-8是3位所以，若只有一个汉字，我们可以通过 长度来判断：len(u'啊') == 1 ...
python查看字符串的编码格式_Python 字符编码判断
weixin_39670511的博客
11-21 740
法一：isinstance(s, str) 用来判断是否为一般字符串isinstance(s, unicode) 用来判断是否为unicode或if type(str).__name__!="unicode":str=unicode(str,"utf-8")else:pass法二：Python chardet 字符编码判断使用 chardet 可以很方便的实现字符串/文件的编码检测。尤其是中文网页...
python检测文件夹中的所有文件格式并把它转为utf-8模式
weixin_43453421的博客
04-26 659
我有多个csv文件，我想要批量读取它们，可是它们的字符编码都是UTF-8 BOM，而我只要UTF-8格式的，所以要检测一下文件格式再转变。
Python字符编码转码之GBK,UTF8互转
09-18
说到python的编码，一句话总结，说多了都是泪啊，这个在以后的python的开发中绝对是一件令人头疼的事情。所以有必要输入理解
python-latin1-to-utf8:将错误的 Latin-1 字符转换为 UTF-8 字符
07-18
python-latin1-to-utf8 将错误的 Latin-1 字符转换为 UTF-8 字符。 是对编码问题的全面描述和解释。 用法 $ python latin1-to-utf8.py Automática > Automática 相关项目
Python MySQLdb 使用utf-8 编码插入中文数据问题
01-20
最近帮伙计做了一个从网页抓取股票信息并把相应信息存入MySQL中的...程序中只要在开头写好#-*- coding: utf-8 -*-，并在设定连接字符串时候写清使用utf8就可以了conn=MySQLdb.connect(host=127.0.0.1,user=webdb,passwd
Python判断中文字符串是否相等的实例
01-20
Python判断两个相等的中文字符串为false，将两个待比较的字符串都把unicode编码设为‘utf-8’也不能解决问题，具体原因如下： 1.首先查看待比较两个字符串的编码格式 ，使用命令 import chardet ...... string_code...
关于ftp的文件批量下载（包括文件夹和文件）的多种方法
热门推荐
果冻先生的专栏
08-20 4万+
博主纯手工打字，转载请注明出处！各位大佬不喜勿喷！ 先笼统说一下本文针对ftp协议下的文件夹和文件递归下载方法： （I）使用FileZilla工具进行下载； （II）使用脚本爬取； （III）使用命令直接下载； （IV）python脚本直接下载。 最近需要下载一批新的固件，本来是准备写脚本爬取的，但是使用scrapy框架爬取的时候，发现并不能有效地支持ftp协议的情况，貌...
python函数执行超时后跳过
果冻先生的专栏
06-15 2万+
最近写bug时遇到一个关于函数执行超时的问题，就是某一步执行时间过长，或者程序直接卡死了，找到了三种解决方法，现在叙述下，帮助需要的人。 （1）使用eventlet 参考链接：https://blog.csdn.net/zjshui/article/details/78874621 import time import eventlet #导入eventlet这个模块 eventlet....
python编程：统计文件中出现次数最多的前10个词，并按出现次数排列它们
果冻先生的专栏
10-27 1万+
python编程：统计文件中出现次数最多的前10个词，并按出现次数排列它们。 下面我编写的这个程序可以用作：统计文件中所有的字符数、行数、出现次数最多的单词。 # -*- coding:utf-8 -*- ####首先把不相关的字符都去了，比如去除标点符号等 def normallize(s): result = '' for w in s.lower():
Python smtplib.SMTP_SSL() 登录邮箱并发送邮件
果冻先生的专栏
04-27 1万+
由于个人比较懒，每次写邮件时总要去打开邮箱地址然后登录，有的时候还容易忘记密码，感觉很不方便，于是就想写一个在txt文件中写内容，然后直接读取，执行脚本文件，直接发送内容。还有很多需要改进的地方，如上传下载文件等，接收文件提醒，阅读文件内容等。还有一些配置内容也不是很方便。py文件如下：# !/usr/bin/python # -*-coding:utf-8-*- import smtplib f...
pycharm学生认证方法
果冻先生的专栏
05-25 1万+
pycharm学生认证 https://blog.csdn.net/qq_36667170/article/details/79905198
将字符串编码格式变为utf-8
最新发布
06-02
可以使用Python中的encode()函数将字符串编码为utf-8格式，示例代码如下： ``` s = "你好，世界！" s_utf8 = s.encode('utf-8') print(s_utf8) ``` 输出结果为： ``` b'\xe4\xbd\xa0\xe5\xa5\xbd\xef\xbc\x8c\xe4...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值