2021-08-09-爬虫学习笔记

最新推荐文章于 2024-06-03 11:43:20 发布
最新推荐文章于 2024-06-03 11:43:20 发布
阅读量102 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52648333/article/details/119534906
版权

20210806_zhihu

知乎好像反爬虫，以后再学吧，费了我两个多小时，就当作实践吧。

20210808_baidu&nankai

  1. 服气了，f12和爬到的网页居然会出现属性前后位置颠倒，怪不得正则表达式找不到，又浪费了点时间，最后又是看网页代码发现的，真是奇葩。

    by the way，这回是百度😂

  2. 正则(.*?)不会匹配空字符，而对于空字符的结果，不要在前后加空格，并且用re.sub()替换多匹配的字符

  3. 解码

    问题描述：在使用python爬取斗鱼直播的数据时，使用str(读取到的字节，编码格式)进行解码时报错：‘utf-8’ codec can’t decode byte 0x8b in position 1: invalid start byte

    问题原因：断点调试的时候发现r.read()获取到的字节码是以‘b’\x1f\x8b\x08’开头的，说明它是gzip压缩过的数据，这也是报错的原因，所以我们需要对我们接收的字节码进行一个解码操作。修改之后的代码如下：

    from urllib import request
from io import BytesIO
import gzip


class Spider():
url = 'https://www.douyu.com/'

def __fetch_content(self):
r = request.urlopen(Spider.url)
htmls = r.read()
buff = BytesIO(htmls)
f = gzip.GzipFile(fileobj=buff)
htmls = f.read().decode('utf-8')

# 入口方法
def go(self):
self.__fetch_content()


spider = Spider()
spider.go()

    作者： 狗子的进阶史

  4. html=requests.get(danmu_url).content这种方法可以解码，上面作者的方法会报错💢

20210809_zhihu

  1. requests适合gzip压缩的，但不适合没压缩的

  2. 好像就因为一个请求头，所以知乎不返回完整的包

  3. def getdata_zhihu_2(url):
    print('知乎热榜')
    data = []
    d = []
    agent_list = [
        "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533."
        "17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        # IPod
        "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17."
        "9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        # IPAD
        "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML"
        ", like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
        "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML,"
        " like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        # Android
        "Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebK"
        "it/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 "
        "(KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        # QQ浏览器 Android版本
        "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod"
        "-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        # Android Opera Mobile
        "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8."
        "149 Version/11.10",
        # Android Pad Moto Xoom
        "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML"
        ", like Gecko) Version/4.0 Safari/534.13",
        # BlackBerry
        "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) V"
        "ersion/6.0.0.337 Mobile Safari/534.1+",
        # WebOS HP Touchpad
        "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko)"
        " wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
        # Nokia N97
        "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuratio"
        "n/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
        # Windows Phone Mango
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
        # UC浏览器
        "UCWEB7.0.2.37/28/999",
        "NOKIA5700/ UCWEB7.0.2.37/28/999",
        # UCOpenwave
        "Openwave/ UCWEB7.0.2.37/28/999",
        # UC Opera
        "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999"
    ]
    head = {'Referer': 'https://www.zhihu.com/hot',
            "user-agent": random.choice(agent_list),
            'x-requested-with': 'fetch'}
    response = requests.get(url, headers=head)
    soup = BeautifulSoup(response.text, features="lxml")
    # print(soup)
    # for item in soup.find_all('div', class_='css-1mx3lj4'):
    #     item = str(item)
    #     print(item, '-'*100)
    for item in soup.find_all('a', class_='css-hi1lih'):
        # info_hot = item.find(class_='css-1ixcu37').string
        # info_title = item.find(class_='css-3yucnr').string
        # info_id = item.find(class_='css-qg55th').string
        item = str(item)
        # print(item, '-'*100)
        info_hot = re.findall(re.compile(r'<div class=".*?">(\d*? 万热度)</div>'), item)[0]
        info_title = re.findall(re.compile(r'<h1 class="css-3yucnr">(.*?)</h1>'), item)[0]
        info_id = re.findall(re.compile(r'<div class=".*?">(\d*?)</div>'), item)[0]
        info_link = re.findall(re.compile(r'a class="css-hi1lih" href="(.*?)" rel="noopener noreferrer"'), item)[0]
        d.clear()
        d.append(info_id)
        d.append(info_title)
        d.append(info_link)
        d.append(info_hot)
        print(d, '-'*100)
        data.append(d)
    if not d:
        getdata_zhihu_2(url)

    知乎被我征服了，哈哈哈哈哈，关键在于请求头，但是有时候还是会返回一些不好的信息，所以我加了最后两行代码，如果失败就重来，直到成功，然后是这个哥们助力，但那个find().string好像不能用，thanks啦

    import requests
from bs4 import BeautifulSoup
import lxml
import random
#头部列表
url = 'https://www.zhihu.com/billboard'
agent_list = [
    "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    # IPod
    "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    # IPAD
    "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
    "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    # Android
    "Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    # QQ浏览器 Android版本
    "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    # Android Opera Mobile
    "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
    # Android Pad Moto Xoom
    "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
    # BlackBerry
    "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
    # WebOS HP Touchpad
    "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
    # Nokia N97
    "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
    # Windows Phone Mango
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
    # UC浏览器
    "UCWEB7.0.2.37/28/999",
    "NOKIA5700/ UCWEB7.0.2.37/28/999",
    # UCOpenwave
    "Openwave/ UCWEB7.0.2.37/28/999",
    # UC Opera
    "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999"
    ]

head = {"user-agent":random.choice(agent_list)}
response = requests.get(url, headers = head)
html = BeautifulSoup(response.text, features="lxml")
ZY = html.select('.Card > .HotList-item')
for Strzy in ZY:
    PM = Strzy.find(class_ = 'HotList-itemIndex').string
    BT = Strzy.find(class_ = 'HotList-itemTitle').string
    host = Strzy.find(class_ = 'HotList-itemMetrics').string
    print(PM,BT,host)
wo_qq111
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python爬虫学习笔记-scrapy框架(1)
01-29
python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python ...
Scrapy学习笔记-Scrapy入门之创建爬虫
12-21
Creating a project 在开始抓取之前，您将必须设置一个新的Scrapy项目。 输入您要存储代码并运行的目录：scrapy startproject tutorial Anacoda下使用 这将创建一个包含以下内容的教程目录： ...
Python爬虫-学习笔记
无
12-20 910
1、什么是爬虫：-通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。2、爬虫究竟是合法还是违法的？-在法制中是不被禁止-具有违法风险3、爬虫带来的风险可以体现在如下2个方面：-爬虫干扰了被访问网络的正常运营-爬虫抓取了收到法律保护的特定类型的数据或信息4、如何在使用编写爬虫的过程中避免进入局子的厄运呢？-时常的优化自己的程序，避免干扰被访问网络的正常运行5、robots.txt协议：-君子协议。规定了网站中哪些数据可以被爬虫哪些数据不可以被爬取。
爬虫学习笔记-post请求获取翻译详情
2301_77321248的博客
01-24 1760
如图查看请求url查看preview带有数据的请求,复制headers中request headers所有内容,格式如下:PSINO=1;delPer=0;Win64;# post请求的参数,要进行编码。
爬虫学习笔记-scrapy爬取汽车之家
2301_77321248的博客
02-03 1015
3.终端cd到spiders,cd scrapy_carhome/scrapy_carhome/spiders,运行 scrapy genspider audi https://car.autohome.com.cn/price/brand-33.html。1.终端运行scrapy startproject scrapy_carhome,创建项目。4.打开audi,编写代码,xpath获取页面车型价格列表。5.运行项目,执行scrapy crawl audi。
Python学习笔记-网络爬虫基础
向往的是：佛祖堂前的鱼，静静听禅。
01-16 1776
网络爬虫概述网络爬虫又称网络蜘蛛、网络机器人，在某社区中经常被称为网页追逐者。网络爬虫可以按照指定规则自动浏览或抓取网络中的信息，python可以很轻松的编写爬虫程序或脚本。
2023爬虫学习笔记 -- 批量获取免费代理
weixin_41489908的博客
02-18 2575
1、获取第2页和第3页数据，发现网址只是在后面加上了2和3。二、分析源码，我们要获取的是IP，PORT，位置。2、适当修改，获取tr块里面的所有数据。1、右击复制selector内容。3、通过findAll读取属性值。四、通过bs4获取关键数据。2、构造动态的目标地址。4、将内容写入到文件。五、获取多页代理数据。
爬虫学习笔记-python基础+urllib
Hubert的博客
01-17 3127
【代码】爬虫学习笔记。
爬虫框架Scrapy学习笔记-2
记录我的学习历程
09-16 1571
Scrapy框架由多个组件组成，包括引擎、调度器、下载器、爬虫、项目管道以及中间件等，这些组件协同工作，使得爬取和处理数据变得高效而灵活。工作流程包括从引擎启动请求，经过调度器和下载器，然后由爬虫解析响应内容并提取数据，最后经过项目管道进行后续处理。Scrapy的工作流程可以类比为一个采集工厂，各个组件扮演不同的角色，协同完成数据的生产和处理过程。
爬虫--笔记
wj0712的博客
06-03 1178
编写爬虫通常涉及几个关键步骤和技术。
2023爬虫学习笔记 -- 使用代理爬取数据
weixin_41489908的博客
02-27 1066
三、利用代理访问网页，在请求代码出添加一个proxies信息。一、正常访问网页，获取本地访问的地址。3、通过源码解析出本地地址。2、获取目标地址网页源码。1、目标地址及头信息。
爬虫笔记----爬虫基础
weixin_51633501的博客
03-27 730
爬虫基础 1.爬虫的特点介绍 1.知识点碎片化（面对不同的网站，每个网站都有每个网站的特点，根据不同网站采取不同的技术和手段） 2.学习难度在于要与网站的运维人员和维护人员进行搏斗，网站的网爬是不断升级。 3.学习特点：爬虫的阶段课程是以某网站爬虫的案例进行讲解，一个技术点就是一个案例。 4.后续发展：爬虫需要掌握的东西更要多，可能根据工作需要涉及更多从来没有学过的知识。（难度会持续增高） 5.法律层面，爬虫工作属于灰色地带，目前法律对于爬虫的相关评判还没有一个明确的制度。 6.好记性不如烂笔头，多找一些网
python爬虫学习笔记-scrapy框架(2)
01-29
python爬虫学习 scrapy框架 爬虫学习 scrapy python爬虫学习 scrapy框架 爬虫学习 scrapy python爬虫学习 scrapy框架 爬虫学习 scrapypython爬虫学习 scrapy框架 爬虫学习python爬虫学习 scrapy框架 爬虫学习python...
爬虫笔记-解析库-Xpath
06-03
基于崔庆才《python3网络爬虫开发实战》写的学习笔记和心得，其中包括内容和方法最总，包括代码，其中有些方法由于版本更迭做了修改。使用jupyter写的。
python爬虫-mast笔记
05-31
1. **HTTP基础**：了解HTTP协议是爬虫学习的基础，包括HTTP方法（GET、POST等）、状态码（200、404等）以及请求头和响应头的构成。 2. **requests库**：`requests.get()`用于发起GET请求，`requests.post()`用于...
2024年公关服务行业分析报告.pptx
07-09
行业报告
惠州市建筑物矢量数据（Shp格式+带高度）.txt
最新发布
07-09
因文件较多，数据存放网盘，txt文件内包含下载链接及提取码，永久有效。失效会第一时间进行补充。
Matlab语言教程及案例
07-09
项目总结 本文详细介绍了Matlab的基础知识和一个完整的数据分析与可视化案例。内容包括： 1. **基本操作**：基本算术运算和矩阵操作。 2. **绘图**：二维和三维绘图。 3. **函数和脚本**：编写和运行Matlab函数和脚本。 4. **案例分析**：生成模拟数据，进行数据预处理、绘图和统计分析。 通过这个项目，读者可以掌握Matlab的基本使用方法，并了解如何在Matlab中进行数据分析和可视化。这对于初学者入门Matlab编程、提升数据处理和分析能力非常有帮助。希望本文能为读者提供有价值的参考，提升其Matlab编程和数据分析技能。
KB8825英文数据手册
07-09
三星KB8825英文数据手册
python爬虫学习笔记.pdf
09-10
python爬虫学习笔记.pdf

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值