python爬虫基本使用

最新推荐文章于 2024-05-30 11:43:13 发布
最新推荐文章于 2024-05-30 11:43:13 发布
阅读量1.3k 收藏 19
点赞数 31
文章标签： python 爬虫 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PLB20041108_123/article/details/139003229
版权

网络爬虫

引言

我们平时都说Python爬虫，其实这里可能有个误解，爬虫并不是Python独有的，可以做爬虫的语言有很多例如：PHP、JAVA、C#、C++、Python。

为什么Python的爬虫技术会异军突起呢？

Python火并不是因为爬虫技术，而是AI人工智能、数据分析（GoogleAlphaGo）等等功能；这些Java其实也能做，而选择Python做爬虫是因为Python相对来说比较简单，而且功能比较齐全。

什么是网络爬虫

网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。通俗来讲，网络爬虫就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

原则上，只要是浏览器(客户端)能做的事情，爬虫都能够做。

为什么要学习网络爬虫

互联网大数据时代，给予我们的是生活的便利以及海量数据爆炸式的出现在网络中。过去，我们通过书籍、报纸、电视、广播或许信息，这些信息数量有限，且是经过一定的筛选，信息相对而言比较有效，但是缺点则是信息面太过于狭窄了。不对称的信息传导，以致于我们视野受限，无法了解到更多的信息和知识。 互联网大数据时代，我们突然间，信息获取自由了，我们得到了海量的信息，但是大多数都是无效的垃圾信息。 例如新浪微博，一天产生数亿条的状态更新，而在百度搜索引擎中，随意搜一条就有成千上百万条信息。 在如此海量的信息碎片中，我们如何获取对自己有用的信息呢？ 答案是筛选！ 通过某项技术将相关的内容收集起来，在分析删选才能得到我们真正需要的信息。 这个信息收集分析整合的工作，可应用的范畴非常的广泛，无论是生活服务、出行旅行、金融投资、各类制造业的产品市场需求等等……都能够借助这个技术获取更精准有效的信息加以利用。 网络爬虫技术，虽说有个诡异的名字，让能第一反应是那种软软的蠕动的生物，但它却是一个可以在虚拟世界里，无往不前的利器。

浏览网站时所能看见的数据都可以通过爬虫程序保存下来，例如：文字、图片、音频和视频。

应用场景

  • 数据展示：将爬取的数据展示到网页或者APP上，比如：百度新闻、今日头条

  • 数据分析：从数据中寻找一些规律，比如：慢慢买(价格对比)、TIOBE排行等

  • 自动化测试：比如想要测试一个前端页面的兼容性、前端页面UI是否有bug，只需要模拟执行表单提交、键盘输入等页面操作

网络爬虫是否合法

爬虫作为一种计算机技术就决定了它的中立性，因此爬虫本身在法律上并不被禁止，但是利用爬虫技术获取数据这一行为是具有违法甚至是犯罪的风险的。所谓具体问题具体分析，正如水果刀本身在法律上并不被禁止使用，但是用来捅人，就不被法律所容忍了。

爬虫技术与反爬虫技术

爬虫目前能造成的技术上影响在于野蛮爬取，即多线程爬取，从而导致网站瘫痪或不能访问，这也是大多数网络攻击所使用的方法之一。

由于爬虫会批量访问网站，因此许多网站会采取反爬措施。例如：1.IP频率、流量限制；2.请求时间窗口过滤统计；3.识别爬虫等。

但这些手段都无法阻止爬虫开发人员优化代码、使用多IP池等方式规避反爬措施，实现大批量的数据抓取。由于网络爬虫会根据特定的条件访问页面，因而爬虫的使用将占用被访问网站的网络带宽并增加网络服务器的处理开销，甚至无法正常提供服务。

Robots协议

robots（也称为爬虫协议、机器人协议等）称是“网络爬虫排除标准”是网站跟爬虫间的一种协议（国际互联网界通行的道德规范），用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

参考地址：https://www.zhihu.com/robots.txt

  • 以Allow开头的URL地址：允许某爬虫引擎访问

  • 以Disallow开头的URL地址：不允许某爬虫引擎访问

总之，盗亦有道，君子之约。

抓包

  • 浏览器抓包（仅能抓取浏览器的数据包）

  • 抓包工具fiddler（基本用于抓取HTTP）

cookie与session的区别与连系?

User-Agent: 浏览器信息

HTTP与HTTPS

  • HTTP 与 HTTPS 有哪些区别？

（1）HTTP 是超文本传输协议，信息是明文传输，存在安全风险的问题。HTTPS 则解决 HTTP 不安全的缺陷，在 TCP 和 HTTP 网络层之间加入了 SSL/TLS 安全协议，使得报文能够加密传输。

（2）HTTP 连接建立相对简单， TCP 三次握手之后便可进行 HTTP 的报文传输。而 HTTPS 在 TCP三次握手之后，还需进行 SSL/TLS 的握手过程，才可进入加密报文传输。

（3） HTTP 的端口号是 80，HTTPS 的端口号是 443。

（4）HTTPS 协议需要向 CA（证书权威机构）申请数字证书，来保证服务器的身份是可信的。

  • HTTPS 解决了 HTTP 的哪些问题？

HTTP 由于是明文传输，所以安全上存在以下三个风险：

窃听风险，比如通信链路上可以获取通信内容，用户号容易没。

篡改风险，比如强制植入垃圾广告，视觉污染，用户眼容易瞎。

冒充风险，比如冒充淘宝网站，用户钱容易没。

HTTPS 在 HTTP 与 TCP 层之间加入了 SSL/TLS 协议，可以很好的解决了上述的风险：

信息加密：交互信息无法被窃取，但你的号会因为「自身忘记」账号而没。

校验机制：无法篡改通信内容，篡改了就不能正常显示，但百度「竞价排名」依然可以搜索垃圾

广告。

身份证书：证明淘宝是真的淘宝网，但你的钱还是会因为「剁手」而没。

可见，只要自身不做「恶」，SSL/TLS 协议是能保证通信是安全的。

  • HTTPS 是如何解决上面的三个风险的？

混合加密的方式实现信息的机密性，解决了窃听的风险。

摘要算法的方式来实现完整性，它能够为数据生成独一无二的「指纹」，指纹用于校验数据的完

整性，解决了篡改的风险。

将服务器公钥放入到数字证书中，解决了冒充的风险。

快速入门

安装requests

pip 是 Python 包管理工具，该工具提供了对Python 包的查找、下载、安装和卸载的功能，现在大家用到的所有包不是自带的就是通过pip安装的。Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。

  • 显示版本和路径

pip --version

  • 安装指定版本的requests

pip install requests         # 最新版本
pip install requests==2.11.0 # 指定版本
pip install requests>=2.11.0 # 最小版本

由于所有请求都需要经过fiddler这个抓包软件进出。所以如果requests与fiddler一起使用，请不要使用requests最新版本，不然直接会卡死，降版本使用即可。

也可以直接通过PyCharm来安装requests模块，点击File -> Settings -> 项目: python10，选择Python解释器，点击 + 号，输入选择requests模块并指定安装版本号（例如：2.11.0），最后点击 安装包(I) 按钮即可。

案例演示

创建纯python项目，新建demo.py并导入requests模块

# 导入模块
import requests
# 通过requests模块模拟发送get请求，并得到响应对象response
resp = requests.get(url)

response响应对象属性介绍：

属性说明
encoding文本编码。例如：resp.encoding="utf-8"
status_code响应状态码。 200 -- 请求成功 4XX -- 客户端错误 5XX -- 服务端响应错误
text响应体。
content字节方式响应体，会自动解码gzip和deflate编码的响应数据
url响应的URL地址。

  • 案例一：快速入门，爬取百度官网并保存到本地

请结合fiddler抓包工具进行以下代码测试。

resp = requests.get("http://www.baidu.com/")

定制请求头headers，请结合知乎网的Robots协议进行设置。伪装User-Agent

resp = requests.get("http://www.zhihu.com/signin?next=%2F",
                    headers={
                        "User-agent": "bingbot"
                    })

定制请求头headers，模拟使用浏览器的User-Agent值。

resp = requests.get("http://www.baidu.com/",
                    headers={
                        "User-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36"
                    })

保存文件的方式可使用pathlib和open等两种方式。

  • 案例二：传递URL参数

POST和GET请求方式在传递URL参数时，稍有不同。

GET方式POST方式
params={"key1":"value1","key2":"value2"}data={"key1":"value1","key2":"value2"}
response=requests.get(url,params=params)response=requests.post(url,data=data)

爬取必应搜索“中国”之后的网页，保存为“中国.html”

resp = requests.get("https://cn.bing.com/search",
                    headers={
                        "User-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36"
                    },
                    params={
                        "q":"中国"
                    })

requests缺点：不能爬取ajax动态加载的数据

  • 案例三：爬取豆瓣电影TOP250，并分页保存文件中

豆瓣TOP250地址：豆瓣电影 Top 250

冰淇淋噢！
关注
  • 31
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python爬虫基本反爬
weixin_73513579的博客
12-28 1862
爬虫反爬，学习者需要注意点。
Python爬虫基本逻辑
03-15
python爬虫
详解Python爬虫的基本写法
09-21
主要介绍了详解Python爬虫的基本写法 的相关资料,需要的朋友可以参考下
python爬虫基本查询代码
03-07
python爬虫基本查询代码
python 爬虫基本使用——统计杭电oj题目正确率并排序
12-16
python爬虫主要用两个库：Urllib和BeautifulSoup4。一个用来爬取网页，一个用来解析网页。 　　Urllib是Python内置的HTTP请求库，它包含四个模块： 　　1、request，最基本的 HTTP 请求模块，用来模拟发送请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入 URL 与额外的参数，就可以模拟这个过程。 　　2、error ，异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作保证程序不会意外终止。 　　3、parse ，工具模块，提供了许多 URL 处理方法，比如拆分、解析、合并等。 　　4、robotparser，
python爬虫的基本教程.txt
04-10
Python爬虫的基本教程可以涵盖多个方面，从理解爬虫的工作原理到编写代码爬取数据，下面是一个简化的教程概述： 一、理解爬虫基本概念 爬虫定义：爬虫是一种自动化程序，用于从互联网上抓取数据。 爬虫分类：网络爬虫一般分为传统爬虫和聚焦爬虫，后者更专注于抓取特定主题或领域的数据。 工作原理：爬虫通过发送请求到目标网站，获取响应内容，然后解析内容并保存数据。 二、学习Python基础知识 变量和数据类型：了解Python中的基本数据类型，如字符串、整数、列表等。 控制流语句：掌握条件语句（if/else）、循环语句（for/while）等。 函数和模块：学习如何定义和使用函数，以及如何使用Python模块来扩展功能。 三、安装和使用爬虫相关库 安装requests库：用于发送HTTP请求。 安装BeautifulSoup库：用于解析HTML数据。 安装其他辅助库：如正则表达式库re、json库等。 四、编写爬虫代码 发起请求：使用requests库向目标网站发送请求，获取响应内容。 解析内
python爬虫基本思路
shayebudon的博客
05-02 3245
python爬虫基本思路 一、明确需求 首先我们要明白我们爬取的具体是什么内容，比如爬取文章标题，爬取图片，爬取实时新闻 二、建立request请求 1.使用的是哪一种请求方式，get post等 2.获取请求URL，确定请求连接 3.拼接头部信息，User-Agent，Host,Cookies等 4.设置请求体，即请求时额外携带的数据，比如表单提交时的表单数据。 三、获取数据 获取请求响应状态，比如200、404、301、502等； 四、解析数据 1、使用json解析数据； 2、使用正则表达式提取数据；
python爬虫的基本原理
Python之禅的专栏
06-09 6484
hello，csdn的小伙伴好呀 我是刘志军，一名Python开发者，开个免费的Python爬虫专栏，和我一起开启爬虫之旅吧 学python很多人告诉你说，用python写个爬虫只需要一行代码，例如： import requests res = requests.get("http://foofish.net") print(res.text) 数据就出来了，代码确实很精简，但是你知道背后的原理吗？ 今天就带领大家一起简单了解python背后的基本原理吧。 只有懂了原理处理问题才有思路 爬虫的基本原理.
Python网络爬虫使用教程
tttalk的博客
06-13 1万+
python爬虫资源抓取--urllib/requests/requests-html、正则表达式、数据解析-Beautiful Soup/lxml/selectolax、自动化爬虫--selenium、爬虫框架--Scrapy/pyspider、模拟登录与验证码识别、autoscraper
Python爬虫基本操作
03-07
Python爬虫基本操作
python爬虫基本知识
08-31
pyhtobn爬虫学习笔记，python爬虫的基本知识，包活各个组建，各部分的功能
Python爬虫基本使用 requests安装 HTTP HTTPS 抓包
05-17
爬虫 定义 一种用来自动浏览万维网的网络机器人 网络爬虫就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序 爬虫并不是Python独有的 学习爬虫原因 筛选 浏览网站时所能看见的数据都可以通过爬虫程序保存下来 应用场景 数据展示 将爬取的数据展示到网页或者APP上 数据分析 从数据中寻找一些规律 自动化测试 比如想要测试一个前端页面的兼容性、前端页面UI是否有bug，只需要模拟执行表单提交、键盘输入等页面操作 爬虫技术与反爬虫技术 影响 在于野蛮爬取，即`多线程爬取` 采取反爬措施 IP频率、流量限制 请求时间窗口过滤统计 识别爬虫 Robots协议 是“**网络爬虫排除标准**”是网站跟爬虫间的一种协议 用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件 以Allow开头的URL地址 允许某爬虫引擎访问 以Disallow开头的URL地址 不允许某爬虫
python爬虫基本概述
biyesheji1000的专栏
09-11 3660
python爬虫基本概述 一、爬虫是什么 二、爬虫可以做什么 三、爬虫的分类 四、爬虫的基本流程 一、爬虫是什么 网络爬虫（Crawler）又称网络蜘蛛，或者网络机器人（Robots）. 它是一种按照一定的规则， 自动地抓取万维网信息的程序或者脚本。换句话来说，它可以根据网页的链接地址自动获取网页 内容。如果把互联网比做一个大蜘蛛网，它里面有许许多多的网页，网络蜘蛛可以获取所有网页 的内容。 爬虫是一个模拟人类请求网站行为, 并批量下载网站资源的一种程序或自动...
Python爬虫详解（一看就懂）
热门推荐
我的博客
06-21 9万+
爬虫简单的来说就是用程序获取网络上数据这个过程的一种名称。如果要获取网络上数据，我们要给爬虫一个网址（程序中通常叫URL），爬虫发送一个HTTP请求给目标网页的服务器，服务器返回数据给客户端（也就是我们的爬虫），爬虫再进行数据解析、保存等一系列操作。爬虫可以节省我们的时间，比如我要获取豆瓣电影 Top250 榜单，如果不用爬虫，我们要先在浏览器上输入豆瓣电影的 URL ，客户端（浏览器）通过解析查到豆瓣电影网页的服务器的 IP 地址，然后与它建立连接，浏览器再创造一个 HTTP 请求发送给豆瓣电影的服务器，
Python爬虫基本代码附解析
ouy_momo的博客
03-13 1万+
1、扒取网页和基本代码： import urllib response = urllib2.urlopen("http://www.baidu.com") print response.read() response = urllib2.urlopen("http://www.baidu.com") print response.read() 首先我们调用的是 urllib2 库里面的 urlopen 方法，传入一个 URL，这个网址是百度首页，协议是 HTTP 协议，当然你也可以把 HTTP 换
其实并不难！几分钟带你分析python爬虫入门简单基础！
y4544159的博客
09-30 1038
一、基础入门 1.1什么是爬虫 爬虫(spider，又网络爬虫)，是指向网站/网络发起请求，获取资源后分析并提取有用数据的程序。 从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用。 1.2爬虫基本流程 用户获取网络数据的方式： 方式1：浏览器提交请求--->下载网页代码--->解析成页面 方式2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存
如何mysql数据导入到mongdb
codemami的博客
05-30 1237
由于MySQL和MongoDB的数据模型不同（例如，MySQL使用关系模型，而MongoDB使用文档模型），你可能需要转换数据的格式。使用MongoDB驱动程序：你也可以使用MongoDB的官方驱动程序（如Python的pymongo）来编写脚本，将数据直接插入到MongoDB中。注意：如果你的JSON文件包含多个文档，并且它们不是作为数组的一部分（即每个文档都在其自己的行上），则需要使用--jsonArray选项。手动转换：对于小型数据集，你可以手动编辑SQL或CSV文件，将其转换为JSON格式。
在linux服务器上使用tensorboard，错误记录
最新发布
wwwwzm的博客
05-30 982
1. 使用tensorboard命令时，不是从虚拟环境中找tensorboard，而是从（全局路径）中找（/home/ljx/.local/lib/python3.9/site-packages/tensorboard）是一个在 Unix-like 系统（包括 Linux 和 macOS）的命令行界面（如 Bash shell）中使用的命令。2.使用which命令， 查看使用的tensorboard的路径，发现使用的是全局路径，不是虚拟环境路径。是一个特殊的变量，它定义了操作系统搜索可执行文件的目录。
Python 爬虫
04-20
Python爬虫是种利用Python编程语言来自动化获取互联网上的数据的技术。通过编写爬虫程序，可以模拟浏览器的行为，访问网页并提取所需的信息，如文本、图片、视频等。Python爬虫广泛应用于数据采集、信息监测、搜索引擎、数据分析等领域。 Python爬虫的实现主要依赖于以下几个库： 1. Requests：用于发送HTTP请求，获取网页内容。 2. BeautifulSoup：用于解析HTML或XML文档，提取所需的数据。 3. Scrapy：一个强大的爬虫框架，提供了高效的爬取和数据处理能力。 4. Selenium：用于模拟浏览器操作，解决动态网页渲染的问题。 5. PyQuery：类似于jQuery的库，提供了方便的CSS选择器来解析HTML文档。 使用Python进行爬虫时，一般的步骤如下： 1. 发送HTTP请求获取网页内容。 2. 解析网页内容，提取所需的数据。 3. 存储或处理提取到的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值