爬虫入门（二）

已于 2022-03-07 14:31:39 修改
阅读量1.3k 收藏 7
点赞数 2
分类专栏： python爬虫 文章标签： 爬虫 chrome python
于 2022-01-26 22:09:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43900888/article/details/122703414
版权

1.selenium模块

（1）selenium模块简介
selenium是一个基于浏览器自动化的模块，可以便捷地获取动态加载的数据，便捷地实现模拟登录。
功能：
发起请求：get(url)
标签定位：find
标签交互：send_keys(‘xxx’)
执行js程序：excute_script(‘jscode’)
前进，后退：back()，forward()
关闭浏览器：quit()
（2）下载浏览器驱动（以chrome为例）
在chrome浏览器-帮助-关于google chrome中，可以看到chrome版本
在这里插入图片描述
在驱动下载链接 https://chromedriver.storage.googleapis.com/index.html中下载对应版本驱动
在这里插入图片描述
将exe程序放在如下目录下
在这里插入图片描述
定义一个selenium模块

from selenium import webdriver
bro=webdriver.Chrome(executable_path="../chromedriver/chromedriver")

（3）对于iframe的处理
以qq空间登陆界面为例，登录框是一个iframe子页面，使用selenium.find直接定位是定位不到的，所以需要先定位到iframe页面
在这里插入图片描述

#定位到iframe页面中
bro.switch_to.frame('login_frame')

（4）规避检测
一些网站会监测当前请求是否由selenium发出，需要规避检测

from selenium.webdriver import ChromeOptions
#实现规避检测
option=ChromeOptions()
option.add_experimental_option('excludeSwitches',['enable-automation'])
bro=webdriver.Chrome(executable_path="../chromedriver/chromedriver",options=option)

（5）案例
登录qq空间
在登录qq的情况下，点击头像就可登录
在这里插入图片描述

from selenium import webdriver
from time import sleep
#规避检测
from selenium.webdriver import ChromeOptions

#实现规避检测
option=ChromeOptions()
option.add_experimental_option('excludeSwitches',['enable-automation'])

bro=webdriver.Chrome(executable_path="../chromedriver/chromedriver",options=option)

bro.get('https://qzone.qq.com/')
#定位到iframe页面中
bro.switch_to.frame('login_frame')
sleep(2)
btn=bro.find_element_by_id('')#引号内填img_out_qq号
sleep(2)
btn.click()

sleep(10)
bro.quit()

成功登录
在这里插入图片描述
登录12306（过滑块）

分别定位到用户名、密码和登录：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
点击“登录”，会弹出滑块，定位到滑块元素，使用动作链进行滑动。

在这里插入图片描述
滑动完成后成功登录。

在这里插入图片描述
代码：

from selenium import webdriver
from time import sleep
from selenium.webdriver import ChromeOptions
#定义动作链
from selenium.webdriver import ActionChains

#实现规避检测
option=ChromeOptions()
option.add_experimental_option('excludeSwitches',['enable-automation'])

bro=webdriver.Chrome(executable_path='../chromedriver/chromedriver',options=option)
bro.get('https://kyfw.12306.cn/otn/resources/login.html')
sleep(2.1)
username=bro.find_element_by_id('J-userName')
username.send_keys('')#引号内填账户名
sleep(1.2)
password=bro.find_element_by_id('J-password')
password.send_keys('')#引号内填密码
sleep(3.1)
login=bro.find_element_by_id('J-login')
login.click()
# 设置没有webdriver属性，避免被检测
script = 'Object.defineProperty(navigator,"webdriver",{get:()=>undefined,});'
bro.execute_script(script)
sleep(3.2)
slider=bro.find_element_by_id('nc_1_n1z')
action=ActionChains(bro)
action.click_and_hold(slider)
action.move_by_offset(300,0).perform()

action.release()

二、scrapy框架

1.模块安装

pip install wheel
pip install pywin32
pip install scrapy

2.在终端输入指令创建一个工程，假设工程名命名为firstBlood

scrapy startproject firstBlood

创建工程后目录如下
在这里插入图片描述
3.进入firstBlood目录，在终端输入指令在spiders中创建一个爬虫文件，假设文件命名为first

cd firstBlood
scrapy genspider first www.xxx.com

创建爬虫文件后目录如下
在这里插入图片描述
4.持久化存储数据
（1）基于终端
局限性：只可将parse文件的返回值存储到本地的文本文件中，存储的文件类型只能为json、jsonlines、jl、csv、xml等；
指令：scrapy crawl xxx -o filepath
好处：简洁高效

【案例】爬取百度热搜标题存储到csv文件

在这里插入图片描述
first.py

import scrapy
import sys
sys.path.append(r'D:\pycharm_project\reptileStudy\code\scrapyProject\firstBlood\firstBlood')
import items

class FirstSpider(scrapy.Spider):
    #爬虫文件的名称，爬虫源文件的唯一标识
    name = 'first'
    #允许的域名，用来限定start_urls哪些可以进行请求发送
    #allowed_domains = ['http://scxk.nmpa.gov.cn:81/xk/']
    #起始的url列表，该列表中的url会被scrapy自动进行请求发送
    start_urls = ['http://www.baidu.com']

    #基于终端的持久化存储，只能存为固定的几种文件格式
    #用作数据解析，response参数是请求成功后对应的相应对象
    
    def parse(self, response):
        li_list=response.xpath('//ul[@class="s-hotsearch-content"]/li')
        #li_list=response.xpath('//ul[@id="gzlist"]/li[1]/dl/a/text()')
        print(li_list)
        all_data=[]
        for li in li_list:
            title=li.xpath('.//span[@class="title-content-title"]/text()')[0].extract()
            print(title)
            dic={
                "title":title
            }
            all_data.append(dic)

        return all_data

settings.py

BOT_NAME = 'firstBlood'

SPIDER_MODULES = ['firstBlood.spiders']
NEWSPIDER_MODULE = 'firstBlood.spiders'


# UA伪装
USER_AGENT = "'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'"
# Obey robots.txt rules，君子协议
ROBOTSTXT_OBEY = False

#只显示错误类型的信息
LOG_LEVEL='ERROR'
# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'firstBlood.pipelines.FirstbloodPipeline': 300,#300表示的是优先级，数值越小优先级越高
}

在终端输入scrapy crawl first -o ../first.csv
爬取成功
在这里插入图片描述
在这里插入图片描述
（2）基于管道
编码流程：
数据解析，在item中定义相关的属性，把解析的数据存储到item类型的对象，把item类型的对象提交给管道的process_item函数进行持久化存储，在配置文件中开启管道。
好处：通用性强

【案例】将爬取的百度热搜题目存储到数据库
first.py

import scrapy
import sys
sys.path.append(r'D:\pycharm_project\reptileStudy\code\scrapyProject\firstBlood\firstBlood')
import items

class FirstSpider(scrapy.Spider):
    #爬虫文件的名称，爬虫源文件的唯一标识
    name = 'first'
    #允许的域名，用来限定start_urls哪些可以进行请求发送
    #allowed_domains = ['http://scxk.nmpa.gov.cn:81/xk/']
    #起始的url列表，该列表中的url会被scrapy自动进行请求发送
    start_urls = ['http://www.baidu.com']
    #基于管道的持久化存储
    def parse(self, response):
        li_list=response.xpath('//ul[@class="s-hotsearch-content"]/li')
        #li_list=response.xpath('//ul[@id="gzlist"]/li[1]/dl/a/text()')
        print(li_list)
        all_data=[]
        count=0
        for li in li_list:
            count = count + 1
            title=li.xpath('.//span[@class="title-content-title"]/text()')[0].extract()
            print(count)
            print(title)
            item=items.FirstbloodItem()
            item['title']=title
            item['count']=count
            yield item

items.py

import scrapy


class FirstbloodItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()
    count = scrapy.Field()
    pass

pipelines.py

import pymysql

class FirstbloodPipeline:
    fp=None
    #重写父类的一个方法，该方法只在开始爬虫时被调用一次
    def open_spider(self,spider):
        print('开始爬虫---')
        self.fp=open('../first.txt','w',encoding='utf-8')
    #接收爬虫文件提交过来的item对象
    #该方法每接收到一个item就会被调用一次
    def process_item(self, item, spider):
        title=item['title']
        count=item['count']
        self.fp.write(title+'\n')
        return item  #传递给下一个即将被执行的管道类
    def close_spider(self,spider):
        print('结束爬虫---')
        self.fp.close()
#管道文件中一个管道类对应将一组数据存储到一个平台或载体中
class mysqlPipeLine(object):
    conn=None
    cursor=None
    def open_spider(self,spider):
        self.conn=pymysql.connect(host='127.0.0.1',port=3306,user='root',password='123456',db='sakila')

    def process_item(self,item,spider):
        self.cursor = self.conn.cursor()
        try:
            self.cursor.execute(f'insert into baidutitle values("{item["count"]}","{item["title"]}")')
            self.conn.commit()
        except Exception as e:
            print(e)
            self.conn.rollback()
        return item
    def close_spider(self,spider):
        self.cursor.close()
        self.conn.close()

settings.py

BOT_NAME = 'firstBlood'

SPIDER_MODULES = ['firstBlood.spiders']
NEWSPIDER_MODULE = 'firstBlood.spiders'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = "'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'"

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

#只显示错误类型的信息
LOG_LEVEL='ERROR'
ITEM_PIPELINES = {
    'firstBlood.pipelines.FirstbloodPipeline': 300,#300表示的是优先级，数值越小优先级越高
    'firstBlood.pipelines.mysqlPipeLine': 301
}

在终端输入scrapy crawl first
在这里插入图片描述
查看数据库
在这里插入图片描述
成功爬取。

5.管道存储图片（scrapy.pipelines.images）

4是用来存储文本，若存储图片，可以用scrapy.pipelines.images。
步骤：
1.对图片地址进行数据解析；
2.把item提交到管道；
3.在管道中定制一个基于scrapy.pipelines.images的管道类；
4.在配置文件中开启管道类，设置为自定义的管道；设置图片存储地址。

【案例】爬取学习通PPT
在这里插入图片描述

如图所示，学习通课程内嵌的PPT无法整个下载，它是由一张张图片组成，若想保存需要逐张另存，工作量很大。我们可以通过请求图片链接进行批量下载。

步骤

（1）定位到PPT所在子页面，可以看到它属于一个iframe，这个iframe有一个链接。
在这里插入图片描述
但链接只是一部分，我们需要在这个链接前拼接https://mooc1-2.chaoxing.com/，才是完整链接。
在这里插入图片描述
（2）进入拼接后的网址，如上图。发现这里面PPT还是在一个子页面中，再次检查这一页的iframe地址。
在这里插入图片描述
可以看到这个iframe中的src是完整的，直接访问这个src所对应的网页。
（3）访问后，该网页中看到的就是一张张图片，每张图片对应一个链接，爬虫对这些链接发送request请求，则可以下载。
在这里插入图片描述
代码

结构目录
在这里插入图片描述

second.py

import scrapy
import sys
sys.path.append(r'D:\pycharm_project\reptileStudy\code\scrapyProject\secondBlood\secondBlood')
import items

class SecondSpider(scrapy.Spider):
    name = 'second'
    allowed_domains = ['www.xxx.com']
    start_urls = ['https://pan-yz.chaoxing.com/screen/file_5807583ce09b9083dbb4809301792d4b?ext=%7B%22_from_%22%3A%22221688283_48606782_57041418_6ac69e101569e5992d151553e49dd379%22%7D']

    def parse(self, response):
        img_list=response.xpath("/html/body/div[1]/img")
        count=1
        for img in img_list:
            item = items.SecondbloodItem()
            img_url=img.xpath('./@src')[0].extract()
            item['img']=img_url
            item['name']=str(count)+'.png'
            count=count+1
            yield item

pipelines.py

from scrapy.pipelines.images import ImagesPipeline
import scrapy

class imgsPipeLine(ImagesPipeline):
    #请求图片
    def get_media_requests(self,item,info):
        yield scrapy.Request(item['img'])
    #指定存储路径
    def file_path(self, request, response=None, info=None, *, item=None):
        imgname=item['name']
        return imgname

    #把item返回给下一个被执行的管道类
    def item_completed(self, results, item, info):
        return item

settings.py

BOT_NAME = 'secondBlood'

SPIDER_MODULES = ['secondBlood.spiders']
NEWSPIDER_MODULE = 'secondBlood.spiders'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = "User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"

# Obey robots.txt rules
ROBOTSTXT_OBEY = False
LOG_LEVEL = 'ERROR'
IMAGES_STORE='../images'
ITEM_PIPELINES = {
    'secondBlood.pipelines.imgsPipeLine': 300, #要执行的管道类，自定义类后一定要更换
}

items.py

import scrapy


class SecondbloodItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    img=scrapy.Field()
    name=scrapy.Field()
    pass

在pycharm终端的scrapyProject\secondBlood路径下，输入scrapy crawl second执行
图片已存在images文件夹下：
在这里插入图片描述

The pure land
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python 爬取学习通图片并自动创建添加到PPT
DwlufveX学习博客
01-21 2168
学习通爬取下载ppt
爬虫爬取学习通知信息
weixin_47306453的博客
11-20 928
文章目录一、爬虫简介1 .介绍2.爬虫工作过程二、爬取南阳理工学院ACM题目网站三、爬取学校官网的信息通知四、总结五、参考链接 一、爬虫简介 1 .介绍 （1）网络爬虫英文名叫Web Crawler或Web Spider。它是一种自动浏览网页并采集所需要信息的程序。 （2）爬虫从初始网页的URL开始, 获取初始网页上的URL，在抓取网页的过程中，不断从当前页面抽取新的url放入队列。直到满足系统给定的停止条件才停止。 （3）可以为搜素引擎从互联网中下载网页数据，是搜素引擎的重要组成部分。 2.爬虫工作过程
爬取学习通2024.3.29
weixin_74384251的博客
03-30 1071
爬取学习通课程名和课程图片2024.3.29
学习通ppt下载
m0_73767377的博客
11-28 396
仅供学习！！拒绝侵权传播ppt！！侵权立删！！复习周没有发ppt，却想让打印下来，只能把学习通的ppt下载下来写了有两个程序，一个基于selenium的全自动（推荐），一个基于自己找txt的半自动。
多线程爬取学习通题库
m0_48766085的博客
07-03 5001
今天在网上发现了一个学习通题库网站，正好最近也在研究怎么搭建题库，于是就写了一个多线程爬虫，爬取网站所有的题目。
Python 爬虫实战 4
wwt72的博客
05-21 978
目录 Requests 模块 安装 Requests 模块 项目：用 requests 实现云栖社区博文爬虫实战 分析过程 编写代码 爬取结果 Scrapy 模块 安装 Scrapy 配置 pywin32 Scrapy 指令实战 （1）创建爬虫项目 (2) 进入新建爬虫项目，用爬虫模板创建一个爬虫项目：scrapy genspider -t basic fst shuqi.com （3）运行爬虫文件：scrapy crawl fst Scrapy 爬虫项目编写基础 项目：爬取.
python爬虫入门通用框架
最新发布
06-28
一.请求网址 二.解析定位 三.保存数据
Python爬虫入门必会
12-19
总结起来，Python爬虫入门需要掌握基础的HTTP/HTTPS协议知识，理解反爬机制及对策，熟悉requests库的使用，以及学会使用BeautifulSoup和XPath进行数据解析。通过实践和学习，你可以构建起自己的Python爬虫系统，高效...
爬虫入门python爬虫.pdf
02-27
2. 客户端渲染：首次请求仅获取HTML骨架，随后通过二次请求获取数据并在客户端（浏览器）完成数据展示。这样在页面源代码中就无法直接看到数据请求的相关内容。 在进行网络请求时，请求头（Request Headers）包含了...
【Python】爬虫入门强烈推荐系列二
12-21
系列一链接：【Python】爬虫入门强烈推荐系列一 Python爬虫入门目录解析和提取正则表达式 rere的定义re的语法re的使用re的对象re的实战（淘宝网）获取cookie完整代码结果展示XpathXpath的定义HTML的转换XML的读取...
python爬虫从入门到精通（模块）
03-17
python从入门到精通第二版pdf 这份文档旨在帮助想要学习Python爬虫的初学者，从入门到精通逐步提升自己的技能。以下是我们将要涵盖的主题： ## 入门篇 1. Python爬虫简介 2. Requests库的使用 3. Beautiful Soup库...
爬虫获取课后小测验并写入Word文档（完整思路）
weixin_44371842的博客
05-25 8767
文章目录前言爬取流程敲代码前的试探通过试探，总结一下编程思路。思路有了，上代码！后记 前言 开门见山，直接切入正题，先看最终效果 最终效果很理想，但这个过程是非常残酷的。 爬取流程 敲代码前的试探 先实验能否直接得到题目。 import requests courseId = 208420018 mHeaders = { 'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like G
爬虫学习之爬取需要登录的网站
与你在巅峰相会的博客
07-29 1万+
第一步，需要模拟登录 （1）改写程序入口，直接请求登录页面，示例代码如下：     agent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36" headers = { "HOST": "www.zhihu...
前端第三方登录集合，QQ、微信、微博
TivonaLH的博客
03-09 1万+
从http://www.cnblogs.com/v-weiwang/p/5732423.html转载的 申请开发者账号之内的就不累赘了，网上一大堆： 说下需求，一个网页要在三类容器运行，公司app，微信自动登录，浏览器。 假设是已经申请完成各平台开发者账号。 先来简单的，微博和QQ 微博： 引入微博JS script src="http://tjs
iOS9对SDK的影响（iOS9适配必看）
weixin_30677617的博客
09-24 184
1、大部分社交平台接口不支持https协议。 问题描述：在iOS9下，系统默认会拦截对http协议接口的访问，因此无法获取http协议接口的数据。对ShareSDK来说，具体表现可能是，无法授权、分享、获取用户信息等。 解决： （1）、暂时退回到http协议。 具体方法： 在项目的info.plist中添加一个Key：NSAppTransportSecurity，类型为...
利用cookie实现网站的自动登录_wordpress网站实现QQ登录方法
weixin_39542340的博客
12-10 437
前面好一佳已经说了利用插件WP Open Social实现了QQ微信分享功能以后，好一佳发现这里还可以实现QQ登录功能，于是好一佳就开始研究利用QQ登录网站的方法了，几天下来，好一佳终于搞定这个功能，今天好一佳就在这里给大家说说网站实现QQ登录的方法。1，WP Open Social插件已经安装好了，这个时候好一佳就去配置QQ登录，点击插件里面的问号，直接进入QQ互联页面。2利用好一佳自己的QQ号...
第11课：数据的存储 之 with open 基础篇
Hakcer's Junk
11-27 3660
本节课程目录预览前言with open 作用with open 使用： 前言 爬虫学这里，我相信，如果坚持下来看我文章的你，相信多多少少都了解了爬虫是什么，和会爬取网站的内容了吧。在这里也非常感谢您，观看我写的文章，也要非常谢谢自己，能坚持下来去琢磨，去专研。 with open 作用 现在大家已经学到了，bs4 如何去爬取网页的内容，那么接下来就要学习，如何去把网页爬取的内容保存下来。我们保存数据需要用到的函数是 with open（），这个工具大家不需要去安装，直接就可以使用，是python 内置的函数
通过document.domain实现跨域访问
热门推荐
拈花的专栏
03-10 4万+
由于JavaScript同源策略的限制，脚本只能读取和所属文档来源相同的窗口和文档的属性。 对于已经有成熟产品体系的公司来说，不同的页面可能放在不同的服务器上，这些服务器域名不同，但是拥有相同的上级域名，比如id.qq.com、www.qq.com、user.qzone.qq.com，它们都有公共的上级域名qq.com。这些服务器上的页面之间的跨域访问可以通过document.domain来进行...
码农微信公众账号推荐
junmuzi的专栏
02-24 3483
original url: https://github.com/jaywcjlove/handbook/blob/master/other/%E5%85%AC%E4%BC%97%E8%B4%A6%E5%8F%B7%E6%8E%A8%E8%8D%90.md 这里推荐一些优质的并且更新频繁的微信公众账号，助你了解码农的世界，了解一线 IT 技术、 IT 行业和IT 资讯寻找同道中
Python爬虫入门到精通：第二章详解与实战
第二章主要涵盖了以下几个核心知识点： 1. **爬虫技术概述** - 定义了爬虫技术，它是通过自动程序或软件从互联网上抓取数据的过程，常用于数据分析、信息收集等领域。 - 描述了爬虫技术的应用范围，包括但不限于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值