python爬虫

于 2019-06-11 23:56:52 发布
阅读量297 收藏
点赞数
分类专栏： # Python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44614026/article/details/91420782
版权

python爬虫

一、python爬虫

爬虫的概念

通过代码从互联网上获取数据，并且对这些数据进行提取、分析、以及清洗与整合存储

爬虫的分类：

1、通用爬虫

通用爬虫的概念：根据互联网的拓扑结构不断去爬取新的内容，然后把这些内容放入搜索引擎的数据仓库中

通用爬虫的用途：用于搜索引擎

搜索引擎分两部分：

  • 检索系统
  • 通用爬虫

搜索引擎现在获取数据的渠道：

  • 通用爬虫

  • 主动提交

robots协议

robots协议并不是技术层面的协议，是一个君子协定(可遵守可不遵守)；
首先爬虫在访问一个网站的时候，首先会拿到这个网站的robots.txt文件（不是所有的网站都有），
拿到这个文件以后，从这个文件中提取相关信息，这些信息会规定哪些爬虫可以爬虫网站的哪些内容，
允许爬的则爬取，不允许的则不能爬取。如果是做搜索引擎一定要严格遵守网站的robots协议。

2、聚焦爬虫

聚焦爬虫的概念：根据客户或者公司的需求来定义一些针对性较强的爬虫

聚焦爬虫的工作原理

1.数据的抓取

主要问题：http协议

反爬：用户代理、ip禁止、验证码、会话处理等

2.数据的解析

主要问题：如何把获取的数据提取出有价值的信息

主要框架：re、xpath、bs4、jsonpath等

遇到的数据类型：html、json、js数据、xml数据等

3.数据的存储

csv文件、redis数据库、json数据、mysql等

二、HTTP协议

1、http协议简介

  • (1) 是一个基于请求与响应的应用层协议，底层协议是TCP保证其可靠传输
  • (2) 通过url来进行客户端与服务器之间的交互（url的解释：统一资源定位符，用于定位互联网上的资源的位置；格式, 协议://主机名.域名:端口号/路径…?参数1=值1&参数2=值2&…#锚点）
  • (3) 是一种C/S（或者b/s，b/s是一种特殊的c/s）模式的协议，客户端发起请求，服务器接收请求并且处理然后做出响应
  • (4) 是一种无状态协议

2、http的创建过程

1.创建TCP链接：三次握手

首先客户端发起一个是否同意创建TCP链接的请求；
然后服务器根据自身的条件决定是否能够创建链接，并且把这个决定的结果响应给客户端；
如果服务器同意客户端再次发起一个信号创建链接；

一旦链接创建好，就可以进行http通信。

2.客户端发起http请求

通过url把请求头和请求体提交给服务器相关的后台处理程序，
常见4种请求方式：get、post、put、delete，常用的是get和post

请求头：包含的是本次请求的相关配置信息（比如：主机、cookie等），决定了前端和后台数据交互的方式与格式

请求体：就是参数、即客户端向服务器提交的内容

3.get和post的区别

  • (1) GET的参数拼接在url后面，post的参数不在url中体现而是放在表单中提交

  • (2) get请求的有最大提交限制（因为浏览器对url的长度有限制），post没有

  • (3) 服务器接收请求，并且处理请求，然后将处理的结果响应给前端

  • (4) 判断数据是否还有传输，如果没有则通过四次挥手断开TCP链接

三、HTTPS协议

1、HTTPS简介

HTTPS（Secure Hypertext Transfer Protocol）安全超文本传输协议

  • (1) HTTPS由两部分组成：HTTP+SSL/TLS
    也就是在HTTP上又加上了一层处理加密信息的木块。
    服务端和客户端的信息传输都会通过TLS进行加密，所以传输的数据都是加密后的数据

  • (2) HTTPS是一个安全通信通道，基于HTTP开发，用于在客户计算机和服务器之间交换信息

  • (3) HTTPS使用安全套接字层（SSL）进行信息交换

  • (4) HTTPS是有Netscape开发并内置于其浏览器中，用于对数据进行压缩和解压操作，并返回网络上传送的结果

  • (5) HTTPS世界上应用了Netscape的安全套接字层SSL作为HTTP应用层的子层

  • (6) HTTPS使用端口是443，而不是像HTTP那样使用端口80来和TCP/IP进行通信

关于http和https协议,可参考
https://blog.csdn.net/zhaozao5757/article/details/79523062
https://blog.csdn.net/weixin_34162629/article/details/91378269
等其他文章

四、抓包工具

1、抓包工具原理

在这里插入图片描述

2、fiddle安装

文件链接(windows版本)
链接：https://pan.baidu.com/s/1x0KwrXO1x0GIUBCTk768TA
提取码：rf90

安装后可能出现的问题:
1.更新,可更新可不更新
2.使用的时候要求安装证书,会自动提醒,安装即可
在这里插入图片描述
这些勾打上勾
在这里插入图片描述
3.有个人服务器的,可能与服务器代理有冲突,尽量不要开启服务器的时候用此工具抓包

3、fiddle常见的图标

在这里插入图片描述
fildder 4的界面和浏览器右键检查的调试界面有类似的地方
在这里插入图片描述

4、http请求

http请求包含: 请求行 请求头 请求内容

常见请求头

  • accept :浏览器通过这个头告诉服务器,所支持的数据类型
  • Accept-Charset:浏览器通过这个头告诉服务器,所支持哪种字符集
  • Accept-Encodingt:浏览器通过这个头告诉服务器,所支持的压缩格式
  • Accept-Language:浏览器通过这个头告诉服务器,所支持的语言环境
  • Host:浏览器通过这个头告诉服务器,想访问哪台主机
  • If-Modified-Since:浏览器通过这个头告诉服务器,缓存数据的时间
  • Referer:浏览器通过这个头告诉服务器,客户机是哪个页面来的 (防盗链)
  • Connection:浏览器通过这个头告诉服务器,请求完后是断开连接还是支持链接
  • Transfer-Encoding:浏览器通过这个头告诉服务器,数据是分块方式发送的
  • Expires:-1 控制浏览器不要缓存
  • Cache-Control:no-cache
  • Pragma:no-cache
沉觞流年
关注
专栏目录
python--CSDN爬虫
呼的一声飞得好远好远
09-02 476
  # encoding:utf-8 __author__ = 'Sun' import re import urllib.request import urllib import queue import threading import os queue = queue.Queue() visited = set() cnt = 0 class CsdnBlogSpider(th...
探秘法律大数据：基于Scrapy框架的中国裁判文书网爬虫项目
最新发布
gitblog_01173的博客
08-15 719
探秘法律大数据：基于Scrapy框架的中国裁判文书网爬虫项目 Wenshu_Spider:rainbow:Wenshu_Spider-Scrapy框架爬取中国裁判文书网案件数据(2019-1-9最新版)项目地址:https://gitcode.com/gh_mirrors/wen/Wenshu_Spider 在这个信息爆炸的时代，数据成为了科研、分析乃至法律领域的宝贵资源。今天，我们来深度探讨一...
Python爬虫Csdn系列II
whiterbear的专栏
04-10 2287
Python爬虫Csdn系列II By 白熊花田(http://blog.csdn.net/whiterbear) 转载需注明出处，谢谢。 说明： 在上一篇文章中，我们已经知道了只要将程序伪装成浏览器就能访问csdn网页。在这篇文章中，我们将设法获取某个csdn用户的所有文章的链接。 分析： 打开一个某一个的csdn用户的的专栏
python----爬虫
aipixi4266的博客
05-08 317
爬虫简介： 1、什么是互联网？ 互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。 2、互联网建立的目的？ 互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，否则你只能拿U盘去别人的计算机上拷贝数据了。 3、什么是上网？爬虫要做的是什么？ 我们所谓的...
Python爬虫
qq_41044525的博客
05-27 1827
爬去网页文字数据from bs4 import BeautifulSoup import urllib.request url = "http://www.jueshitangmen.info/tian-meng-bing-can-11.html" html = urllib.request.urlopen(url).read().decode('utf-8') soup = BeautifulS...
Python爬虫框架Scrapy教程 完整版PDF
04-06
《Python爬虫框架Scrapy教程》主要是针对学习python爬虫的课程，又基础的python爬虫框架scrapy开始，一步步学习到最后完整的爬虫完成，现在python爬虫应用的非常广泛，本文档详细介绍了scrapy爬虫和其他爬虫技术的...
电影天堂上的Python爬虫源码.zip
08-26
电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python...
python爬虫课件+代码.zip
07-25
Python爬虫技术是一种用于自动化网络数据获取的编程技术，它在大数据分析、网站维护、市场研究等领域具有广泛应用。本课程由“路飞学城樵夫”老师指导，通过实际操作帮助学习者掌握Python爬虫的基本原理和实战技巧。...
python爬虫从入门到精通（模块）
03-17
这份文档旨在帮助想要学习Python爬虫的初学者，从入门到精通逐步提升自己的技能。以下是我们将要涵盖的主题： ## 入门篇 1. Python爬虫简介 2. Requests库的使用 3. Beautiful Soup库的使用 4. 爬虫实战：爬取百度...
Python爬虫教学视频-最全的Python爬虫视频教程全集
09-12
本Python爬虫教学视频，全集共51天课程，整套课程以Python语言为核心，通过各种经典案例的讲解，很好的演示了python爬虫如何抓取数据的全过程，非常值得Python爬虫工程师和想掌握python爬虫技术的同学借鉴学习。...
爬虫-python
06-12
python爬虫火车票系列。。。。。。。。。。。。。。。。
抓取CSDN博客文章的简单爬虫python源码
06-25
抓取CSDN博客文章的简单爬虫python源码
裁判文书爬虫Python版.zip
01-19
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
利用python实现爬虫
luxiangyan1923的博客
08-14 4594
注：转载请注明出处 准备一个安装好python2.7以上的环境。 编译软件准备PyCharm                                           注:以上环境是必备的。 我们就以爬取糗事百科的文字段子和用户名称为例： 得到目标官网的地址：https://www.qiushibaike.com/8hr/page/1/     由他们网站地址我们可以得出page是...
Python 几种爬虫的方法
weixin_30556959的博客
03-13 297
Python 几种爬虫的方法 一、使用Requests库 1.1安装Requests库 pip install Requests 1.2实例： import Requests r = Requests.get(url) print r.text print r.status_code 传递URL参数 import requests key_dict = {'key1':'v...
Python爬虫实例- CSDN博客爬虫
同一片天空下
02-10 1515
CSDN博客爬虫，带命令行参数 线程池 SQLite数据库存储。
python爬虫教程
博客
03-19 721
https://zhuanlan.zhihu.com/p/32652572
爬虫——python
qq_38848616的博客
03-21 168
import codecs,sysimport urllib.requestimport redict1 = {}f=codecs.open('Fi.txt','w')url1 = 'http://oeis.org/wiki/Index_to_OEIS:_Section_Fi'print(url1)f.write(url1)f.write('\n')req1=urllib.request.Requ...
Python爬虫入门指南
"Python爬虫入门指南" Python爬虫是一个用于自动化网络数据抓取的技术，它允许程序员从网页中提取大量信息。本指南将带你逐步走进Python爬虫的世界。 首先，你需要具备Python编程基础。Python是一种易学易用的编程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值