python判断网页编码的方式

于 2021-10-22 16:14:01 发布
阅读量433 收藏 1
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45883910/article/details/120902703
版权

python 开发语言 后端

以百度为例：

#python3.9.5版本
import urllib.request         #引入 urllib.request
import chardet
url = 'http://www.baidu.com'
html = urllib.request.urlopen(url).read()   #打开网页读取内容
data =chardet.detect(html)     #用chardet进行内容分析
print(data)

打印出的网页编码结果如下：
在这里插入图片描述

Bear :)
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python判断网页编码
浪子燕青的博客
07-21 1536
有一种渴，只有酒才能滋润，这种渴就是孤独。 根据网页返回编码寻找数据 比如我要找到这个网页的标题，那么直接正则匹配(.*?)就可以，但是许多时候因为编码问题requests这个库没办法正确解析，所以获取不到数据。 解决办法： r_port_top = requests.get(url=str('http://'+url), headers=headers, time...
python 获取网页编码方式实现代码
09-21
本文将深入探讨如何使用Python来自动检测并获取网页的编码方式。 首先，我们需要知道Python中用于获取网页内容的基本工具——`urllib`库。`urllib`库提供了一系列函数，如`urlopen()`，用于打开并读取网页内容。...
判断网页的编码方式 python
Winterto1990的博客
08-14 6453
在学习python爬取网页的时候，我们经常会遇到编码方式的困扰，为了解决这个编码方式的问题，首先是要获取网页的编码方式，下面就获取网页的编码方式重点说一下三种方法。一， 使用urllib模块的getparam方法>import urllib >fopen1 = urllib.urlopen('http://www.baidu.com').info() >print fopen1.getparam('
python判断目标网页编码
锅炉房刘大爷的博客
03-11 203
第一种是使用requests模块下载网页后会得到一个response对象，通过response对象的apparent_encoding方法可以获得目标网页的编码： import requests url = 'http://news.ifeng.com/a/20180311/56636409_0.shtml' resp = requests.get(url) resp.apparent_enc...
python判断网页编码方式
热门推荐
光明~~~
08-29 3万+
在解析网页的过程中往往会遇到网页乱码的情况，自己去看网页源代码往往不太准确，这时候就需要用代码去判断网页源代码的编码方式，一共介绍三种方式：（推荐第二种） 这里以百度首页为例 url = 'http://www.baidu.com' 一， 使用urllib模块的getparam方法 import urllib #获取网页信息 data =urllib.urlopen(url).info...
python查看网页编码格式
Cls的博客
09-07 4122
我们在进行网页的获取时，通常要查看该网页的编码时，可以通过python去获取该网页的编码格式。 from urllib import request import chardet if __name__ == "__main__": response = request.urlopen("https://wenku.baidu.com/view/2d2f8384a0116c175f0e...
python处理中文编码和判断编码示例
12-25
下面所说的都是针对python2.7 复制代码 代码如下:#coding:utf-8#chardet 需要下载安装 import chardet#抓取网页htmlline = “http://www.***.com”html_1 = urllib2.urlopen(line,timeout=120).read()#print ...
判断网页编码的方法python版
09-21
主要为大家详细介绍了python代码判断网页编码的方法，感兴趣的小伙伴们可以参考一下
Python判断字符串编码以及编码的转换
weixin_33748818的博客
04-04 144
判断字符串编码 使用 chardet 可以很方便的实现字符串/文件的编码检测。尤其是中文网页，有的页面使用GBK/GB2312，有的使用UTF8，如果你需要去爬一些页面，知道网页编码很重要 >>> import urllib >>> html = urllib.urlopen('http://www.chinaunix.net').read() ...
python 检测文件编码_[常用] 在Python中检测网页编码
weixin_39805883的博客
12-04 416
[常用] 在Python中检测网页编码在使用Python抓取网页并进行分析时出现这个错误:UnicodeDecodeError: 'utf8' codec can't decode byte 0xd6原因是部分中文网站编码不是utf8, 因此需要进行编码判断问题描述:在引入编码自动识别前, 我们有两种途径获取网页的编码信息:其一、通过服务器返回的 header 里的 charset 变量获取其二、...
python自动识别文本编码格式代码
12-23
我就废话不多说了，直接上代码吧！ #!/usr/bin/python3 # -*- coding: utf-8 -*- import codecs import os import chardet def detectCode(path): with open(path, 'rb') as file: data = file.read(200000) dicts = chardet.detect(data) return dicts["encoding"] # 文件所在目录 if __name__ == '__main__': path = input("输入log文件路径：
文件编码识别和转换工具PythonCoCo.zip
07-19
CoCo(Code Convert) 是一个简单的文件编码识别和转换的命令行工具，使用python编写，具有很好的跨平台特性。安装$ pip install cocov 或者源码安装 $ git clone git@github.com:buptmiao/CoCo.git   $ cd CoCo $ python setup.py install使用方式1. 识别文件编码$ coco -i foo.csv foo.csv utf-8 $ coco -i foo.csv bar.csv foo.csv utf-8 bar.csv gb23122. 转换文件编码$ coco -i foo.csv foo.csv utf-8 $ coco -o gb2312 foo.csv bar.csv $ coco -i bar.csv bar.csv gb2312 $ coco -o utf-8 bar.csv utf.csv $ coco -i bar.csv utf.csv bar.csv gb2312 utf.csv utf-8 标签：Python
python获取网页编码格式
qq_29880515的博客
10-07 1452
爬虫获取网页内容要准确获取网页的编码格式，有utf-8，gbk，gb2312等等。 今天在爬新闻网站时候，发现同一个网页会分不同的编码，但是获取HTML节点相关是根据第一个编码格式来的，拿人民网新闻页源码举例。 当我使用python的 url = "http://theory.people.com.cn/n1/2019/1001/c40531-31383055.html" r = request...
python字符编码的判断
Together_CZ的博客
12-09 2608
最近需要使用字符串来解决一些问题，中间牵涉到使用url，而url的编码方式往往又是不同于平时所使用的编码方式的，这里就需要检测一下url所使用的编码方式，然后将url的编码方式转换为所需要的编码方式，然后再参与后续的运算       使用python自带的字符串编码方式判断函数isinstance(字符串，编码方式)，可以判断字符串string是否为给定的编码方式。       也可以使用py
Python 字符编码判断
zwglory的博客
07-13 630
Python字符编码判断方法一：isinstance(s, str) # 判断是否为字符串 isinstance(s, unicode) # 判断是否为 unicode方法二：if type(s).__name__!="unicode": s = s.decode("utf-8") else: pass方法三：使用 chardet 对网页编码格式做判断import url
python判断网页编码的三种方式
余安
02-25 2132
python判断网页编码的三种方式 一， 使用urllib模块的getparam方法  #有时不准确 >import urllib >fopen1 = urllib.urlopen('http://www.baidu.com').info() >print fopen1.getparam('charset')# baidu123123 二， 使用chardet模块 >impor
python 获取网页编码问题
wanglei_storage的博客
06-13 949
代码如下： #!/usr/local/bin/python3.6 import urllib.request url = 'http://www.baidu.com' req = urllib.request.urlopen(url) print(req.read()) 在默认情况下，当我执行完这串代码之后，python会打印网页的源信息，并且会有部分乱码问题，这是因为网页编码格式没有解码...
python写爬虫时如何查看网页编码格式decode
qq_23182345的博客
08-05 1839
写爬虫程序第一步要解决掉额问题就是确定目标网页的编码格式。 那么，如何获取网站的编码格式呢？ def getList(url): html = urllib.request.urlopen(url).read() # 得到html return html.decode('UTF-8') # 解码html html = getList("https://price.pca...
python 2.7 用chardet解决爬虫获取网页编码的识别判断和转换问题
gwb0516的专栏
01-22 1682
python3以前版本的最头痛问题就是编码的转换，在爬取不同网页的时候发现编码有N多种，目前已爬取到的网页编码如下： gbk utf-8 UTF-8-SIG SHIFT_JIS GB2312 Big5 EUC-JP ascii CP932 EUC-
python爬虫编码方式
最新发布
08-15
Python爬虫的编码方式主要有以下几种： 1. UTF-8编码：这是一种通用的Unicode编码方式，在大多数情况下都可以使用。可以使用Python的`requests`库发送HTTP请求，并通过设置`response.encoding = 'utf-8'`来指定网页的编码方式。 2. GBK编码：在中文网站上，有些网页使用GBK编码。可以通过设置`response.encoding = 'gbk'`来指定网页的编码方式。 3. 自动检测编码：有些网页没有明确指定编码方式，这时可以使用Python的`chardet`库来自动检测网页的编码方式。可以通过`chardet.detect(response.content)`方法获取网页的编码方式，然后使用`response.encoding`来设置。 需要注意的是，在进行网页解析时，经常会用到解析库如`BeautifulSoup`或`lxml`，这些库也会根据网页的编码方式来进行解析处理，确保正确提取所需的信息。 以上是常见的爬虫编码方式，具体使用哪种编码方式要根据实际情况和网页的编码方式来确定。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值