python爬虫入门 练习一 静态页面文本爬取 (html内中文乱码问题处理)

最新推荐文章于 2023-12-03 12:22:42 发布
最新推荐文章于 2023-12-03 12:22:42 发布
阅读量954 收藏 1
点赞数
分类专栏： Python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40831340/article/details/102990004
版权
1.前置知识
  • html一些知识
  • python基本语法
  • 简单的一些爬虫库api调用
2.所用到的包
3.我练习所遇到的问题
  1. 部分页面文本get下来 出现中文 乱码
  2. request(url, headers，timout) 其中headers 经常出现无效 和 timeout
  3. 文本写入文件时出现 gdk 无法写入

正文

这里我用来练习的网站和内容是 python 下载 https://www.biqukan.com/1_1094/ 一念永恒这章节特别多的小说吧？(这是小说？)
目标是 下载全部的作者发表的全部章节(我选取这本小说是因为 这是我翻了半天最多的)

步骤1

获得一个页面返回

user_agent = [
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60',
		'Opera/8.0 (Windows NT 5.1; U; en)',
		'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50',
		'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50',
		'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0',
		'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 ',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
		'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
		'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36',
		'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
		'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
		'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0',
		'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)'
]

ers = 1

def get_html(url) :
    user_agent = 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'
    headers = {'User-Agent' : user_agent}
    while 1 : 
        try : 
            res = requests.get(url, headers = {'User-Agent':random.choice(user_agent)},  timeout=10)
            break
        except Exception as e:
            global ers
            print("第 ", ers, " loop ", e)
            ers = ers + 1
            continue
    print(res.encoding)  #查看网页返回的字符集类型
    print(type(res))
    return res

这里我用死循环 来处理偶尔出现的 无效的浏览头 timeout

步骤2

分析 既然是获取全部章节 我首先看到了 这个网站对每一个小说章节直接可以在对应书id目录 全部看到 连翻页都不需要… 这样就简单了 F12 查看每个章节href 位置 看看如何 find_all()
在这里插入图片描述
这里我们发现 只要获得 div 中class_=‘listmain’ 就完事了 之后放到soup中 find_(‘a’) 就可以获得全部的 文章名字和链接
i.get(’*’) 获得关键字 i.string 获得它所含区域文本

def get_list(url) :
    html = get_html(url)
    soup = BeautifulSoup(html.text)
    div_list = soup.find_all('div', class_='listmain')
    div_url = BeautifulSoup(str(div_list[0]))
    dd_list_url = div_url.find_all('a')
    url_second = []
    base_url = 'https://www.biqukan.com'
    for i in dd_list_url :
        url_second.append([i.string, base_url + i.get('href')]) 
        # print(i.string, i.get('href'))
    return url_second
步骤3

我们get_list返回的 所有文章地址和title 此时我们考虑如何获得文章
在这里插入图片描述
文章内容在 div id=‘content’， class_=‘showtxt’
页面放入soup中 直接find_all(‘div’ id=‘content’ class_=‘showtxt’)
这里你可能看到这样的事情
在这里插入图片描述

你可能发现 我们encode进行编码 而且用的是’ISO-8859-1’ （request默认编码 可能是反爬也可能是网站就是这么写的） 这样操作中文就正常了在这里插入图片描述

def get_text(list_url) :
    cnt = 1
    for i in list_url :
        cnt = cnt + 1
        print(i[0], i[1])
        if(os.path.exists('data/' + i[0] + '.txt')) : continue
        html = get_html(i[1])
        soup = BeautifulSoup(html.text.encode('ISO-8859-1'))
        div_text = soup.find_all('div', id='content', class_='showtxt')
        f = open('data/' + i[0] + '.txt', 'w+', encoding='utf-8')
        f.write(div_text[0].text)
        f.close()

如果没有encode这一步的话 你看你会看到

上面是直接request的 后面是 .encode(‘ISO-8859-1’)过的
我看页面已经写了 是gdk编码 但是 print(res.encoding) 是 ‘ISO-8859-1’ 这里encode这个编码算是我乱试出的

以下是全部代码
#!/usr/bin/env python3

import requests
import time
import random
from bs4 import BeautifulSoup
import os
import sys


user_agent = [
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60',
		'Opera/8.0 (Windows NT 5.1; U; en)',
		'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50',
		'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50',
		'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0',
		'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 ',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
		'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
		'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36',
		'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
		'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
		'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0',
		'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)'
]

ers = 1

def get_html(url) :
    user_agent = 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'
    headers = {'User-Agent' : user_agent}
    while 1 : 
        try : 
            res = requests.get(url, headers = {'User-Agent':random.choice(user_agent)},  timeout=10)
            break
        except Exception as e:
            global ers
            print("第 ", ers, " loop ", e)
            ers = ers + 1
            continue
    print(res.encoding)  #查看网页返回的字符集类型
    print(type(res))
    return res


def get_list(url) :
    html = get_html(url)
    soup = BeautifulSoup(html.text)
    div_list = soup.find_all('div', class_='listmain')
    div_url = BeautifulSoup(str(div_list[0]))
    dd_list_url = div_url.find_all('a')
    url_second = []
    base_url = 'https://www.biqukan.com'
    for i in dd_list_url :
        url_second.append([i.string, base_url + i.get('href')]) 
        # print(i.string, i.get('href'))
    return url_second


def get_text(list_url) :
    cnt = 1
    for i in list_url :
        cnt = cnt + 1
        print(i[0], i[1])
        sys.stdout.write("  进度:%.3f%%" %  float(cnt/len(list_url)) + '\r')
        sys.stdout.flush()
        if(os.path.exists('data/' + i[0] + '.txt')) : continue
        html = get_html(i[1])
        soup = BeautifulSoup(html.text.encode('ISO-8859-1'))
        div_text = soup.find_all('div', id='content', class_='showtxt')
        f = open('data/' + i[0] + '.txt', 'w+', encoding='utf-8')
        f.write(div_text[0].text)
        f.close()

def get_t(url) :
    time.sleep(1)
    html = get_html(url)
    tmp = BeautifulSoup(html.text.encode('ISO-8859-1'))
    print(html.text)
    print(html.text.encode('ISO-8859-1'))
    div_text = tmp.find_all('div', id='content', class_='showtxt')
    print(div_text[0].text)


if __name__ == "__main__":
    base_url = 'https://www.biqukan.com/1_1094'
    novel_list = get_list(base_url)
    get_text(novel_list)
    # get_html('https://www.biqukan.com/1_1094')
    # get_t('https://www.biqukan.com/1_1094/5447905.html')
ZHXU1998
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
python爬虫练习（爬取+存入数据库）
qq_41571018的博客
08-15 1652
python初学者，五天跟着https://www.bilibili.com/video/BV12E411A7ZQ练习了一下豆瓣爬虫项目，现在回过头记录一下过程，防止以后忘掉。纯个人纪录，没有参考价值，如有错误欢迎各位大佬指正。 主要用到爬虫+flask框架。 爬取步骤： 1. 爬取网页+解析数据 2. 保存数据 1. 爬取网页+解析数据 首先使用askURL函数获取目标网页的html文件。这边用到urllib库，可以获取对应网页的html文件。 #得到指定一个URL的网页内容 de..
【python实例】爬虫中HTML与中文的相互转化
敲代码的设计师
10-17 898
我们在输入关键词进行爬取时，如果输入的是英文或者数字，通常都没有什么问题，但如果输入的是中文，因为编码的问题，通常会出现无法解码的错误。比如 我们的关键词输入的是“风险”，但实际显示是KW后面的代码确实%B7%E7%CF%D5，所以如果我们想要进行中文的搜索，就需要对中文进行转换，通常需要用到urllib模块 代码如下： import urllib.parse #Html代码中文转代码，和代码转中文 ss1 ='%B7%E7%CF%D5' print(urllib.parse.unquote(ss1,
简单的网络爬虫，抓取当前页面内容，文本输出
01-09
一个简单的网络爬虫，抓取当前页面的内容，以文本形式存放到本地。 没有什么难度，适合初学网络java的童鞋。
爬虫练习本地html文档
qq_38523172的博客
04-28 268
来源：Python网红Alex的《Python超强爬虫8天速成（完整版）爬取各种网站数据实战案例》课程的P20 Day3 -5.bs4解析概述 以下为照着老师的屏幕的手敲版本： <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>测试bs4</title> </head> <body> <.
python 爬取网页信息---通俗例题，直接跑
juanji3798的博客
11-13 151
import requests import re from bs4 import BeautifulSoup def get_html(url): headers = { 'User-Agent': 'Mozilla/5.0(Macintosh; Intel Mac OS X 10_11_4)\ AppleWebKit/537.36(KHTML, like Gecko) Chrome/52 .0.2743. 116 Safari/537.36' } .
一个月入门Python爬虫学习,轻松爬取大规模数据
09-20
本文将详细介绍如何在一个月内快速入门Python爬虫，并能轻松爬取大规模数据。 #### 一、Python爬虫为何如此受欢迎？ 1. **丰富的资源**：Python作为一种流行的编程语言，拥有大量的第三方库支持，使得爬虫开发变得...
python爬虫163爬取代码python爬虫163爬取代码
最新发布
08-04
python爬虫案例,python爬虫163爬取代码python爬虫163爬取代码
Python网络爬虫出现乱码问题的解决方法
12-24
Python网络爬虫在抓取网页数据时，可能会遇到各种乱码问题，这主要源于源网页的编码和爬虫程序处理编码之间存在不匹配。解决乱码的关键在于正确地识别和处理网页的编码。 首先，我们需要了解乱码产生的原因。源网页...
python爬虫学习案例-.字典形式爬取数据.rar
05-30
此外，为了确保爬虫的健壮性，我们还需要考虑异常处理，比如处理网络连接问题、处理页面结构变化、设置延迟以避免被网站封禁等问题。在代码中，我们可以使用try-except语句捕获可能出现的错误，并进行适当的恢复或...
python爬虫开发代码-电影网站信息爬取案例
05-31
在爬虫中，我们不仅要处理文本数据，也可能需要下载图片、视频等多媒体内容。Python的requests库可以发送HTTP请求下载文件，而os和shutil库则能帮助我们管理和保存这些文件。 最后，"电影"可能是一个包含所有爬取到...
HtmlUnit爬虫解决url中文
u012645961的专栏
10-31 1825
接触爬虫也有好一段时间了，刚开始用的是htmlunit，后来因为对js的兼容性问题，用过一阵子selenium，觉得selenium还是蛮直观也很顺手，但最近爬个报表爬得好费劲，用selenium折腾好久都没搞出来。实在没辙了，又听从同事建议，改用HtmlUnit试试，没想到还真有新发现，现在记录下，为自己长个记性，也希望能跟有需要的分享下。总体来说，爬虫是个小事，可每次爬总能碰到问题让你觉得不顺
【小沐学Python】网络爬虫之lxml
爱看书的小沐
12-03 1056
LXML是功能最丰富的 和易于使用的库 用于处理 XML 和 HTML 在 Python 语言中。lxml XML 工具包是 C 库 libxml2 和 libxslt 的 Pythonic 绑定。它的独特之处在于它结合了速度和 这些库的 XML 功能完整性与 原生 Python API，大部分兼容，但优于众所周知的 ElementTree API。最新版本适用于所有 CPython 版本 从 2.7 增加到 3.9有关以下内容的更多信息，请参阅简介 LXML项目的背景和目标。╮(￣▽￣)╭。
python写入html文件中文乱码-解决办法
肖朋伟
08-16 2万+
python写入html文件中文乱码问题 使用open函数将爬虫爬取的html写入文件，有时候在控制台不会乱码，但是写入文件的html中的中文是乱码的 案例分析 看下面一段代码： # 爬虫未使用cookie from urllib import request if __name__ == '__main__': url = &amp;amp;quot;http://www.renren.com/96...
Python爬虫——爬取网页时出现中文乱码问题
热门推荐
lucky_shi的博客
03-02 4万+
网页字符乱码处理 一、查看原网页编码的方式       1.首先呢，咱来说说如何在网页中查看编码方式，以爱奇艺为例，爱奇艺进入爱奇艺网页页面，鼠标    “右击–>检查–>点击Console–>输入document.charse   即可显示出网页的编码格式,如图：![在这里插入图片描述](https...
10- 30简单爬虫 - 静态网页爬取
weixin_46400833的博客
10-31 569
#soup的两个方法 #find--找第一条满足条件的内容 返回str #find_all-满足条件的所有内容 返回list soup.find('li') soup.find('div',class_="artview") soup.find('div',class_="artview").find('h1') <h1>修养是一个人最体面的外衣</h1> ```python soup.find('div',class_="artview").find('h1
如何爬取本地html文件中文字,从爬取的文章 HTML 中提取出中文关键字
weixin_30094815的博客
06-15 681
分2步。1.从 HTML 中提取出纯文本(去掉标签) import org.htmlparser.NodeFilter; import org.htmlparser.Parser; import org.htmlparser.beans.StringBean; import org.htmlparser.filters.CssSelectorNodeFilter; import org.htmlp...
Python+requests 爬取网站遇到中文乱码怎么办？
weixin_30477797的博客
04-07 4755
分类： Python/Ruby 最近刚开始使用python来做爬虫爬取相关数据，使用了python自带的urllib和第三方库requests，解析html使用了beautifulsoup以及lxml 这里说下lxml，lxml是python的一个html、xml解析库，lxml使用XPath能快速，简单的定位元素并获取信息。下面进入正题 注：Python3...
python学习之 beautifulsoup选择器
sentimental_dog的博客
09-24 9814
来源：官方文档 http://beautifulsoup.readthedocs.io/zh_CN/latest/ 如何使用 将一段文档传入BeautifulSoup 的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄. from bs4 import BeautifulSoup soup = BeautifulSoup(open("index.
爬取网站时返回的html是乱码问题解决
西门一刀的博客
08-01 1401
在爬取网站新闻时发现，返回的html代码中中文是乱码
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值