爬虫基础

最新推荐文章于 2024-08-03 14:18:54 发布
最新推荐文章于 2024-08-03 14:18:54 发布
阅读量191 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fancyyj/article/details/98851535
版权

文章目录


根据使用的场景可以将网络爬虫分为通用爬虫和聚焦爬虫

一. 通用爬虫

1. 定义

从互联网上搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否及时，因此其性能的优劣直接影响着搜索引擎的效果。

2. 目的

是搜索引擎抓取系统的重要组成部分，主要的目的是将互联网上的网页下载到本地，形成一个互联网的镜像备份。

3. 工作基本流程

在这里插入图片描述
在这里插入图片描述
先是进行信息采集，然后进行索引与检索，然后通过web接口与人交互

4. 搜索引擎如何获取一个新的网站的URL

（1）新的网站主动向搜索引擎提交网站
（2）在其他网站上设置新的网站外链
（3）和DNS解析服务商（eg：DNSPord）等合作，新的网站域名将迅速抓取

5. 搜索引擎限制

搜索引擎蜘蛛的爬行是被输入一定的规则，它需要遵循一些命令或者文件内容
（1）rel = “ nofollow ”
告诉搜索引擎爬虫无需抓取页面，同时告诉搜索引擎无需将当前页的Pagerank传递到目标页。
（2）Robot 协议（爬虫协议，机器人协议）
全称是“网络爬虫排除标准”（Robots Exclusion Protocol）网站通过Robots协议告诉搜索引擎哪些页面可以抓取。哪些页面不可以抓取。
在这里插入图片描述

6. 通用爬虫的局限性

（1） 大多数情况下，页面中的90% 的内容对于用户来说是无用的
（2） 搜索引擎无法提供针对具体某个用户的搜索结果
（3） 图片，数据库，音频，视频等多媒体不能很好的发现和获取
（4）基于关键字的检索，难以支持根据语义信息提出的查询，无法准确的理解用户的具体需求

二. 聚焦爬虫

定义
聚焦爬虫是“面向特定主题需求”的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行筛选，尽量保证只抓取与需求相关的网页信息。

(一) HTTP 和 HTTPS

1. HTTP协议——80端口

HyperTextTransferProtocol —— 超文本传输协议是一种发布和接收HTML页面的方法

2. HTTPS ——443端口

HyperTextTransferProtocol —— 通俗说是HTTP 的安全版，在HTTP下加入SSL层

在这里插入图片描述

3. HTTP工作原理

网络爬虫的过程可以理解是模拟浏览器操作的过程

在这里插入图片描述
客户端向服务端发送一个请求，然后服务端向客户端返回一个响应
浏览器发送请求的过程：
1） 当用户在浏览器的地址栏中输入一个URL 并且按回车键之后，浏览器会向HTTP 服务器发送HTTP请求。HTTP请求主要分为”GET“和“POST”两种。
2） 当我们在浏览器上输入URL （也就是网址）的时候，浏览器会发送一个Request请求去获取该网址的html文件，服务器会把Response文件对象发送回浏览器。
3） 当浏览器分析Response 中的HTML ，发现其中引用了很多文件，比如mages文件，CSS 文件，JS文件。浏览器会自动再次发送请求（Request）去获取图片，CSS文件，JS文件。
4） 当所有的文件都下载成功之后，网页会根据HTML 语法结构，完整的显示出来

4. URL

URL（Uniform ResourceLocator的缩写）： 统一资源定位符，是用于完整的描述Internet 上网页和其他资源的地址的一种标识方法/
基本的格式：
scheme://host[:port#]/path/…/[?query-string][#anchor]

其中：

  • query-string: 参数，发送给http服务器的数据
  • anchor： 锚 （跳转到页面的指定锚点位置）
    在这里插入图片描述

（二）客户端HTTP请求

1. 客户端向服务端发送一个HTTP请求消息

，格式如下：

在这里插入图片描述

2. 请求的方法

根据HTTP标准：
HTTP0.9： 只有基本的文本GET功能
HTTP1.0 ： 完善的请求/响应模型，并且将协议补充完整，有三种请求方法： GET ，POST和HEAD方法
HTTP1.1 ： 在1.0的基础上进行更新，有5种请求方法： OPTIONS ， PUT ，DELETE。，TRACE和CONNECT方法。

方法解析：
get： 请求指定的页面信息，并返回实体主体
head： 类似于get请求，只不过返回的响应中没有具体的内容，用于获取报头
post： 向指定资源提交数据进行处理请求（eg：提交表单或者是上传文件），数据被包含在请求体中，post请求可能会造成新的资源的建立，或者是已有资源的修改。
put： 从客户端向服务器传送的数据取代指定文档中的内容
delete： 请求服务器删除指定的页面
connect： HTTP/1.1协议中预留给能够将连接改成管道方式的代理服务器
options： 允许客户端查看服务器的性能
trace： 回显服务器收到的请求，用于测试或者是诊断
常用请求方法解析：

import requests


#get 方法

    url = 'http://www.baidu.com'
    response = requests.get(url)
    print(response.text)
    print(response.content)
    # print(response.json())
    
    # post
    url = 'http://httpbin.org/post'
    response = requests.post(url,data={'name':'westos'})
    print(response.text)
    
    
    # put
    url ='http://httpbin.org/put'
    response = requests.put(url,data={})

运行结果：
在这里插入图片描述

（ps： get与post
get是从服务器上获取数库，post时向服务器发送传送数据
get请求参数会显示在url上，即：“get”请求的参数是URL的一部分
post请求的参数在请求体中，消息的长度没有限制兵器我以隐式的方式进行发送，通常用来向HTTP服务器提交量比较大的数据（比如请求中包含许多参数或者文件上传操作）请求的参数包含在“content-type” 消息中，指明该消息体的媒体类型和编码）

request小案例：
实验代码如下：

import requests

def searchBaidu():
    keyword = input("请输入需要搜索的关键字：")
    baiduUrl = 'https://www.baidu.com'
    params = {
        'wd':keyword
    }
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60'
    }
    try:
        response = requests.get(baiduUrl,params=params,headers= headers)
        response.raise_for_status()
        response.encoding = response.apparent_encoding
    except Exception as e:
        print("[-] 爬取失败", e)
    else:
        print('[+]' +response.url,"爬取成功")
        print(len(response.text))



if __name__ == '__main__':
    searchBaidu()

运行结果：
在这里插入图片描述

3. 常用的 请求报头

Host： 主机和端口号
Connection： 客户端与服务器连接，默认为keep-alive
user-agent： 客户浏览器的名称
accept： 浏览器或者是其他客户端可以接受的MIME文件类型
Referer： 表明产生请求的网页来自于哪个URL
Accept-Encoding： 指出浏览器可以接受的编码方式
Accept-Language： 语言种类
Accept-Charset： 字符编码
Cookie： 浏览器用这个属性向服务器发送Cookie
Content-type： post 请求里面用来表示的内容类型

（三）HTTP响应

1. HTTP响应的组成

Http响应由四部分组成： 状态行，消息报头，空行，响应正文
在这里插入图片描述

2. 响应状态码

在这里插入图片描述
常见的响应状态码：
200： 请求成功
302： 请求页面临时转移至新的URL
307和304： 使用缓存资源
404： 服务器无法找到请求页面
403： 服务器拒绝访问，权限不够
500： 服务器遇到不可预知的情况

3. Cookie和Session

服务器和客户端的交互过程限于请求/响应的过程，在下一次的请求中，服务器会认为是新的客户端，为了维护他们之间的链接，让服务器知道这是前一个用户发送的请求。必须在一个地方，保存客户端的信息
Cookie： 通过在客户端记录的信息确定用户的身份
Session： 通过在服务器端记录的信息确定用户的身份。
在这里插入图片描述

项目实现： 图片下载器

需求分析： 想要获取照片，但是不想直接上网搜，并且想要能够自动下载
效果展示：
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

代码实现：

import re
import requests
import os


def downloadPictu(html, keyword):
    pic_url = re.findall('"objURL":"(.*?)",', html, re.S)[:5]

    count = 0
    print('找到关键字：' + keyword + '的图片，现在开始下载')
    for each in pic_url:
        # print("正在下载第" + str(count + 1) + '张图片，图片地址为：' + str(each))
        try:
            headers = {
                'user - agent': 'Mozilla / 5.0 (Linux;Android 6.0;Nexus 5 Build / MRA58N)'
                                'AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 59.0.3071.109'
                                ' Mobile Safari / 537.36'
            }
            responce = requests.get(each, timeout=10, headers=headers)
        except requests.exceptions.ConnectionError:
            print('[错误] 当前图片无法下载')
            continue
        except Exception as e:
            print('[错误] 当前图片无法下载')
            print(e)
            continue
        else:
            if responce.status_code != 200:
                print("访问失败：", responce.status_code)
                continue
        if not os.path.exists(imgDir):
            print("正在创建目录", imgDir)
            os.mkdir(imgDir)
        posix = each.split('.')[-1]
        if posix not in ['png', 'jpg', 'gif', 'jpeg']:
            print("下载失败, 后缀名错误")
            continue
        print("正在下载第" + str(count + 1) + '张照片，图片地址：' + str(each))
        name =  keyword + '_' + str(count)+ '.' + posix
        filename = os.path.join(imgDir, name)
        count += 1
        with open(filename, 'wb')as f:
            f.write(responce.content)


if __name__ == '__main__':
    imgDir = 'pictures'
    word = input("Input key word:")
    url = 'http://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gb18030&word=' + word
    try:

        responce = requests.get(url)
    except Exception as e:
        print(e)
        content = ''
    else:
        content = responce.text
    downloadPictu(content, word)
Fancyyj
关注
python爬虫详解
CSDN_430422的博客
05-25 3万+
早在1989年，网络发明人蒂姆·伯纳斯 - 李（Tim Berners-Lee）就提出了网站的三大支柱：1）URL ,跟踪Web文档的地址系统2）HTTP，一个传输协议，以便在给定URL时查找文档3）HTML, 允许嵌入超链接的文档格式Web的最初目的是提供一种简单的方式来访问，阅读和浏览文本文档。从那时起，网络已经发展到提供图像，视频和二进制数据的访问，但是这些改进几乎没有改变三大支柱。在Web之前，很难访问文档并从一个文档跳转到另一个文档。
「爬虫教程」吐血整理，最详细的爬虫入门教程
qq_46094651的博客
03-15 6439
官方中文文档：requests应该是用Python写爬虫用到最多的库了，同时requests也是目前Github上star✨最多的Python开源项目。requests在爬虫中一般用于来处理网络请求；首先我们需要导入requests模块；接着我们尝试向baidu发起请求；1状态码，200即为请求成功页面Html5代码# 返回请求状态码，200即为请求成功# 返回页面代码# 对于特定类型请求，如Ajax请求返回的json数据。
Python爬虫详解：原理、常用库与实战案例！
最新发布
2301_78217634的博客
08-03 2742
【点击这里】
爬虫技术——一篇全搞定！
qq_53914420的博客
04-04 5963
python爬虫技术
一文带你了解爬虫
xiangxueerfei的博客
07-21 620
我认为好记是一个原因，其根本原因是受到编程行业的影响，你想想编程行业有多少动植物：Java（咖啡）、Python（蟒蛇）、Go（囊地鼠）、PHP（大象）、Linux（企鹅）、Perl（骆驼）、Mysql（海豚）等等，具体为什么编程行业喜欢用动植物这猪哥就不清楚，还请明白的同学留言告知大家！当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。，因为它是获取的公开信息，并未非法入侵计算机。
Python爬虫入门 (看这篇就够了)
qq_46094651的博客
06-15 9139
“爬虫”是一种形象的说法。互联网比喻成一张大网，爬虫是一个程序或脚本在这种大网上爬走。碰到虫子（资源），若是所需的资源就获取或下载下来。这个资源通常是网页、文件等等。可以通过该资源里面的url链接，顺藤摸瓜继续爬取这些链接的资源。
python爬虫基础
04-13
那么对于一些中小型的公司，没有如此大的...在上面的来源中：人工的方式费时费力，免费的数据网站上的数据质量不佳，很多第三方的数据公司他们的数据来源往往也是爬虫获取的，所以获取数据最有效的途径就是通过爬虫爬取
python爬虫基础课件.pdf
06-20
根据提供的文件信息，这份python爬虫基础课件主要涵盖了网络爬虫的概念、原理、基本流程以及实现数据抓取和处理的关键技术点。 首先，网络爬虫是自动获取网页内容的程序，常用于搜索引擎、数据采集等场景。网络爬虫...
python爬虫基础.zip
02-24
Python爬虫基础是编程领域中的一个重要分支，它主要涉及如何使用Python语言自动化地从互联网上获取数据。Python作为一门简洁且强大的脚本语言，因其丰富的库支持和易读性强的语法，成为爬虫开发的首选工具。在这个...
Python爬虫入门教程（非常详细）
热门推荐
2201_75362610的博客
06-19 2万+
爬虫的全称为网络爬虫，简称爬虫，别名有网络机器人，网络蜘蛛等等。网络爬虫是一种自动获取网页内容的程序，为搜索引擎提供了重要的数据支撑。搜索引擎通过网络爬虫技术，将互联网中丰富的网页信息保存到本地，形成镜像备份。我们熟悉的谷歌、百度本质上也可理解为一种爬虫。如果形象地理解，爬虫就如同一只机器蜘蛛，它的基本操作就是模拟人的行为去各个网站抓取数据或返回数据。
CSDN爬虫（一）——爬虫入门+数据总览
10-01
文章同步：http://blog.csdn.net/wgyscsf
Python实用技术——爬虫（一）：爬虫基础
喜欢吃豆的博客
05-05 1万+
这一章主要讲了讲要学习爬虫之前，我们先要了解的网页知识，以便于后面的学习。
python爬虫入门教程(非常详细)
工宗浩生财指南针
06-17 2万+
爬虫指的是一种自动化程序，能够模拟人类在互联网上的浏览行为，自动从互联网上抓取、预处理并保存所需要的信息。爬虫运行的过程一般是先制定规则（如指定要抓取的网址、要抓取的信息的类型等），紧接着获取该网址的HTML源代码，根据规则对源代码进行解析和抽取，最后进行处理和保存。爬虫在实际应用中广泛使用，如搜索引擎、大数据分析、交易数据采集等领域，都需要用到爬虫技术来实现信息的定向采集和处理。
10个Python爬虫框架推荐，你使用的是哪个呢？
xx16755498979的博客
02-14 4936
实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。那么，Python爬虫一般用什么框架比较好？
爬虫基本原理介绍、实现以及问题解决
m0_67403076的博客
07-31 2551
最近拉开了毕业季的序幕，提前批开启了大厂抢人模式，所以很多人都开始在力扣刷题，希望能够在大厂抢人的时期脱颖而出。为了能实现群内力扣刷题排名就需要对力扣网站进行数据爬取，最近就对爬虫的机制和爬虫的意义进行了了解。今天我们讲了爬虫的基础知识，还能拿到力扣的刷题数据，甚至我们还利用IPIDEA逃脱了力扣的访问限制。大家快动动手指尝试一下吧。相信大家都能掌握爬虫的基本实现方式，不过要注意要注意文明的爬虫哦。官网地址文末送书《架构基础》赠送数量5赠送规则本文三连并分享进抽奖群https。...
python爬虫原理和编程实战：爬取CSDN博主的账号信息
科技改变人类，技术成就未来
04-17 1万+
python爬虫原理和编程实战：爬取CSDN博主的账号信息
『scrapy爬虫』10. 实战爬取自己的csdn信息（详细注释步骤）
MZH
03-22 1390
『scrapy爬虫』10. 实战爬取自己的csdn信息（详细注释步骤）
网络爬虫：爬取网页数据
2302_80529892的博客
12-26 4644
基于爬虫的实现原理，进入爬虫的第一阶段:爬取网页数据，即下载包含目标数据的网页。爬取网页需要通过爬虫向服务器发送一个HTTP请求，然后接收服务器返回的响应内容中的整个网页源代码。利用Python 完成这个过程，既可以使用内置的urllib库，也可以使用第三方库requests。使用这两个库，在爬取网页数据时，只需要关心请求的URL格式，要传递什么参数，要设置什么样的请求头，而不需要关心它们的底层是怎样实现的。
Python爬虫基础教程
"Python爬虫基础课程" 这是一份针对初学者的Python爬虫基础课程资料，旨在帮助刚接触爬虫技术的同学系统学习。课程详细介绍了Python语言在爬虫开发中的应用，内容涵盖广泛且深入浅出。 课程内容包括但不限于以下几...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值