![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
就叫一片白纸
话不多说就是干
展开
-
【python爬虫】第20章——Pyppeteer代替Selenium
引言Selenium 在被使用的时候有个麻烦事,就是环境的相关配置,得安装好相关浏览器,比如 Chrome、Firefox 等等,然后还要到官方网站去下载对应的驱动,最重要的还需要安装对应的 Python Selenium 库,确实是不是很方便,另外如果要做大规模部署的话,环境配置的一些问题也是个头疼的事情。那么本节就介绍另一个类似的替代品,叫做 Pyppeteer。Pyppeteer简介注...原创 2019-10-17 22:58:39 · 1018 阅读 · 0 评论 -
【python爬虫】第12章——scrapy框架之递归解析和post请求
今日概要递归爬取解析多页页面数据scrapy核心组件工作流程scrapy的post请求发送今日详情1.递归爬取解析多页页面数据- 需求:将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储- 需求分析:每一个页面对应一个url,则scrapy工程需要对每一个页码对应的url依次发起请求,然后通过对应的解析方法进行作者和段子内容的解析。实现方案:1.将每一个页码对应的ur...原创 2019-10-07 01:12:54 · 213 阅读 · 0 评论 -
【python爬虫】第13章——scrapy框架的日志等级和请求传参
日志等级请求传参如何提高scrapy的爬取效率今日详情一.Scrapy的日志等级在使用scrapy crawl spiderFileName运行程序时,在终端里打印输出的就是scrapy的日志信息。日志信息的种类:ERROR : 一般错误WARNING : 警告INFO : 一般的信息DEBUG : 调试信息设置日志信息指定输出:在settings.py配置文...原创 2019-10-07 01:55:32 · 186 阅读 · 0 评论 -
【python爬虫】第14章——UA池和代理池
scrapy下载中间件UA池代理池今日详情一.下载中间件先祭出框架图:下载中间件(Downloader Middlewares) 位于scrapy引擎和下载器之间的一层组件。- 作用:(1)引擎将请求传递给下载器过程中, 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent,设置代理等(2)在下载器完成将Response传递给引擎中,下载中间件可以对响...原创 2019-10-07 02:16:59 · 662 阅读 · 0 评论 -
【python爬虫】第15章——scrapy中selenium的应用
引入在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现,通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据,则必须使用selenium创建浏览器对象,然后通过该浏览器对象进行请求发送,获取动...原创 2019-10-07 02:28:22 · 203 阅读 · 0 评论 -
【python爬虫】第16章——Python网络爬虫之Scrapy框架(CrawlSpider)
引入提问:如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话,有几种实现方法?方法一:基于Scrapy框架中的Spider的递归爬取进行实现(Request模块递归回调parse方法)。方法二:基于CrawlSpider的自动爬取进行实现(更加简洁和高效)。今日概要CrawlSpider简介CrawlSpider使用基于CrawlSpider爬虫文件的创建链接提取器规则解...原创 2019-10-07 02:39:02 · 176 阅读 · 0 评论 -
【python爬虫】第17章——基于scrapy-redis两种形式的分布式爬虫
redis分布式部署1.scrapy框架是否可以自己实现分布式?不可以。原因有二。其一:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start_urls列表中的url。(多台机器无法共享同一个调度器)其二:多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。(多台机器无法共享同一个管道)2.基于scrapy-redis组件的...原创 2019-10-07 02:50:37 · 202 阅读 · 0 评论 -
【python爬虫】第18章——增量式爬虫
增量式爬虫引言:当我们在浏览相关网页的时候会发现,某些网站定时会在原有网页数据的基础上更新一批数据,例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么,类似的情景,当我们在爬虫的过程中遇到时,我们是不是需要定时更新程序以便能爬取到网站中最近更新的数据呢?一.增量式爬虫概念:通过爬虫程序监测某网站数据更新的情况,以便可以爬取到该网站...原创 2019-10-07 02:56:08 · 597 阅读 · 0 评论 -
【python爬虫】第11章——scrapy框架持久化存储
今日概要基于终端指令的持久化存储基于管道的持久化存储今日详情1.基于终端指令的持久化存储保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。执行输出指定格式进行存储:将爬取到的数据写入不同格式的文件中进行存储scrapy crawl 爬虫名称 -o xxx.jsonscrapy crawl...原创 2019-10-07 00:50:44 · 213 阅读 · 0 评论 -
【python爬虫】第10章——scrapy框架简介和基础应用
今日概要scrapy框架介绍环境安装基础使用今日详情一.什么是Scrapy?Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板。对于框架的学习,重点是要学习其框架的特性、各个功能的用法即可。二.安装Linux: pip3 ...原创 2019-10-07 00:28:04 · 114 阅读 · 0 评论 -
【python爬虫】第2章——Python网络爬虫第二弹《http和https协议》
一.HTTP协议1.官方概念:HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网(WWW:World Wide Web )服务器传输超文本到本地浏览器的传送协议。(虽然童鞋们将这条概念都看烂了,但是也没办法,毕竟这就是HTTP的权威官方的概念解释,要想彻底理解,请客观目移下侧…)2.白话概念:HTTP协议就是服务器(Server)...原创 2019-10-02 21:12:24 · 310 阅读 · 0 评论 -
【python爬虫】第3章——Python网络爬虫第一弹《Python网络爬虫相关基础概念》
引入之前在授课过程中,好多同学都问过我这样的一个问题:为什么要学习爬虫,学习爬虫能够为我们以后的发展带来那些好处?其实学习爬虫的原因和为我们以后发展带来的好处都是显而易见的,无论是从实际的应用还是从就业上。我们都知道,当前我们所处的时代是大数据的时代,在大数据时代,要进行数据分析,首先要有数据源,而学习爬虫,可以让我们获取更多的数据源,并且这些数据源可以按我们的目的进行采集。爬虫简介...原创 2019-10-05 22:51:23 · 165 阅读 · 0 评论 -
【python爬虫】第4章——Python网络爬虫之requests模块(1)
今日概要基于requests的get请求基于requests模块的post请求基于requests模块ajax的get请求基于requests模块ajax的post请求什么是requests模块requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求。功能强大,用法简洁高效。在爬虫领域中占据着半壁江山的地位。为什么要使用requests模块...原创 2019-10-05 23:23:11 · 210 阅读 · 0 评论 -
【python爬虫】第1章——Python网络爬虫之三种数据解析方式
回顾requests实现数据爬取的流程指定url基于requests模块发起请求获取响应对象中的数据进行持久化存储其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求,我们都会指定去使用聚焦爬虫,也就是爬取页面中指定部分的数据值,而不是整个页面的数据。因此,本次课程中会给大家详细介绍讲解三种聚焦爬虫中的数据解析方式。至此,我们的数据爬...原创 2019-10-06 00:15:49 · 336 阅读 · 0 评论 -
【python爬虫】第7章——验证码处理
引入相关的门户网站在进行登录的时候,如果用户连续登录的次数超过3次或者5次的时候,就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。今日概要使用云打码平台识别验证码知识点回顾session的创建方式session的作用proxies参数的作用高匿,透明代理的区别今日内容云打码平台处理验证码的实现流程:云打码平台处理验证码的实现流程:- 1.对携带验证码的页面数据...原创 2019-10-06 00:59:59 · 164 阅读 · 0 评论 -
【python爬虫】第8章——Python网络爬虫之图片懒加载技术、selenium和PhantomJS
图片懒加载seleniumphantomJs谷歌无头浏览器知识点回顾验证码处理流程今日详情动态数据加载处理一.图片懒加载什么是图片懒加载?案例分析:抓取站长素材http://sc.chinaz.com/中的图片数据#!/usr/bin/env python# -*- coding:utf-8 -*-import requestsfrom lxml import et...原创 2019-10-06 01:21:41 · 261 阅读 · 0 评论 -
【python爬虫】第9章——移动端数据爬取
前言随着移动市场的火热,各大平台都陆陆续续的推出了自己的移动端APP来拉拢吸引和便捷其广大的用户。那么在移动端的平台当时势必会出现大量有价值的信息和数据,那这些数据我们是否可以去享用一下呢?那么接下来就进入我们的移动端APP数据的爬虫中来吧。今日概要fiddler简介手机APP抓包设置fiddler设置安装证书下载安全证书安装局域网设置fiddler手机抓包测试今日详情1 ...原创 2019-10-06 01:43:40 · 239 阅读 · 0 评论 -
【python爬虫】第1章——jupyter环境安装
01.jupyter环境安装jupyter notebook环境安装一、什么是Jupyter Notebook?简介Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算:开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍简而言之,Jupyter Notebook是以网页的形式打开,可以在网页页面中直接编写代码和运行代...原创 2019-10-02 01:21:24 · 283 阅读 · 0 评论