python爬取下载链接的文件,python爬取网页详细教程

大家好,本文将围绕python 爬取网页内容并保存到数据库展开说明,利用python爬取简单网页数据步骤是一个很多人都想弄明白的事情,想搞清楚python爬取下载链接的文件需要先了解以下几个事情。

一、Selenium

(一)Selenium简介

Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。

Selenium 可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生pythonturtle画小猫

Selenium 自己不带浏览器,不支持浏览器的功能,它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行,所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。

二、自动填充百度网页的查询关键字并完成自动搜索

1.检查百度源代码中搜素框的id以及搜素按钮的id

在这里插入图片描述
2.获取百度网页

from selenium import webdriver

driver = webdriver.Firefox(executable_path=r'F:\browserdriver\geckodriver-v0.30.0-win64\geckodriver.exe')
driver.get("https://www.baidu.com/")

运行的话,此时会打开百度的起始页

在这里插入图片描述3.填充搜索框

p_input = driver.find_element_by_id('kw')
print(p_input)
print(p_input.location)
print(p_input.size)
print(p_input.send_keys('一只特立独行的猪'))
print(p_input.text)

4.模拟点击

用另一个input,也就是按钮的点击事件来实现;或者是form表单的提交事件

p_btn = driver.find_element_by_id(‘su’)
p_btn.click()

三、爬取一个动态网页的数据

(一)网站链接

http://quotes.toscrape.com/js/

(二)分析网页

1.爬取网页元素

    含有quote类的标签即为所要的标签
    text类名言,author为作者,tags为标签

在这里插入图片描述2.按钮属性
爬取一页后,需要进行翻页,即点击翻页按钮。
可发现Next按钮只有href属性,无法定位。且第一页只有下一页按钮,之后的页数有上一页和下一页按钮,则也无法通过xpath定位,而其子元素span(即箭头)在第一页中的属性aria-hidden是唯一的,在之后的页数中存在aria-hidden该属性,但Next的箭头总是最后一个。
因此可以通过查找最后一个有aria-hidden属性的span标签,进行点击以跳转到下一页:
在这里插入图片描述(3)网站页数
点击Nest,可以发现网站有10页
在这里插入图片描述

(三)代码实现

1.代码

import time
import csv
from bs4 import BeautifulSoup as bs
from selenium import webdriver

driver = webdriver.Firefox(executable_path=r
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值