![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 65
小黑班♪(・ω・)ノ
这个作者很懒,什么都没留下…
展开
-
scrapy框架
scrapy简介scrapy是一个专门用于异步爬虫的框架,框架可以理解为是一个被集成了很多功能且具有很强通用性的一个项目模板。安装1 终端输入pip install scrapy2 anaconda - environments - base(root) -search packages搜索scrapy下载,回到pycharm中import后直接下载,或是在preference-project interpreter 按+ 搜索后 install package下载显示成功后在终端输入scr原创 2021-05-09 00:48:11 · 262 阅读 · 1 评论 -
Mac 模拟登陆12306
模拟登录12306结构1.访问首页,将浏览器窗口最大化2.找到并点击账号登录,截取全局图片,获得验证码位置坐标,通过该坐标从全局图片里截取验证码图片3.调用识别平台,返回结果4.拆分坐标,找到对应位置并选中5.填入账号密码,立即登录实现from selenium import webdriverfrom time import sleepfrom PIL import Image # 截图from chaojiying import Chaojiying_Clientfrom s原创 2021-04-28 12:26:22 · 136 阅读 · 0 评论 -
selenium
selenium是基于浏览器自动化的模块,selenium测试直接运行在浏览器中。在爬虫中,selenium可以便捷的捕获到任意形式动态加载的数据,实现模拟登录。一些方法selenium.webdriver支持主流浏览器,也支持xpath\css等find查找# findfind_element_by_id # 通过id查找控件find_element_by_link_text # 通过a标签内容找find_element_by_partial_link_text # 通过a标签内容找,原创 2021-04-26 01:25:59 · 131 阅读 · 0 评论 -
Mac pycharm中selenium.webdriver.Chrome出错
1.之前我已安装了anaconda3,直接在anaconda3里查找selenium并下载如果点击apply后迟迟没有读条,说明镜像访问没响应,删掉.condarc,重新打开anaconda会再次生成该文件,访问正常2.根据对应的Chrome下载相近版本的浏览器驱动 驱动下载,解压后是一个Chromedriver文件我尝试将它放在anaconda3/bin文件夹里,运行时还是报错显示mac Message: 'chromedriver' executable needs to be in PATH,原创 2021-04-25 00:12:44 · 590 阅读 · 0 评论 -
异步爬虫
异步爬虫发起一个请求,不用等待它按序操作结束,当它结束时会通知。实现方式是通过单线程+协程实现异步IO操作。相关概念同步与异步同步:不同程序为了完成任务,在执行过程中需要靠某种通信方式以协调一致,被称为同步执行。异步:不同程序为了完成任务,各任务之间过程中无需通信协调也能完成,被称为异步执行。可理解为同步是串行,按照ABCD顺序执行;异步是并行,ABCD同时进行阻塞与非阻塞阻塞:程序在等待某个操作完成期间,无法分身执行别的任务,被称为阻塞非阻塞:程序在执行操作时,不能立刻得到结果之前,该调原创 2021-04-22 20:45:04 · 141 阅读 · 1 评论 -
测试 模拟登陆
基于线上的识别平台识别验证码#!/usr/bin/env python# coding:utf-8import requestsfrom hashlib import md5class Chaojiying_Client(object): def __init__(self, username, password, soft_id): self.username = username password = password.encode('utf8'原创 2021-04-20 22:01:26 · 126 阅读 · 0 评论 -
代理操作
代理在爬虫中,代理指的是代理服务器,其作用是用来转发请求和响应。爬虫在短时间内对服务器发起了高频请求,服务器监测到异常的行为请求后悔会将该请求对应设备的ip封禁,使本机设备无法对服务器端再次进行请求。此时就需要使用代理服务器进行请求转发,使用代理后,服务器端接收到请求对应的ip地址就是代理服务器。代理服务器可选择性强,搜索关键词找到适用款。代理服务器的匿名度透明代理使用后,服务器端可知本机真实ip以及使用了代理机制匿名代理使用后,服务器端可知本机使用代理,不知真实ip高原创 2021-04-20 02:14:12 · 121 阅读 · 0 评论 -
cookie
cookiecookie是存储在客户端的一组键值对。在web中的典型应用是免密登录。在对一张页面进行请求过程中不携带cookie,有可能无法请求到正确的页面数据。处理方式手动处理将抓包工具中的cookie关联到headers中,注意,如果过了有效时长该方法失效自动处理基于Session对象实现自动处理获取:requests.Session()返回session对象作用:该对象可以像requests一样调用get/post发起指定请求,在session发起过程中如果产生coo原创 2021-04-20 02:08:57 · 54 阅读 · 0 评论 -
爬取图片首页小图
需求爬取图片网站首页上的图片实现通过抓包工具确定图片不是动态加载,使用etree.xpath定位图片标签位置,通过src=""尝试捕获图片数据,但只捕获到单张图片查看图片标签信息,在页面刷新时前几张图片地址为src="",没有经过鼠标滚轮,直接查看尾端图片标签,图片地址为src2="",明确实际请求中存在图片懒加载。图片懒加载:只有当图片被显示在浏览器可视化范围之内才会将img的伪属性变成真正的属性。如果是requests发起的请求,requests请求是没有可视化范围,因此我们一定要解析的是原创 2021-04-15 23:34:46 · 86 阅读 · 0 评论 -
爬虫的数据解析
数据解析数据解析用来实现聚焦爬虫网页中显示的数据都是储存在html标签或标签属性中该方法通用原理包括指定标签的定位,取出标签中或标签属性中存储的数据主要方法:正则、bs4、xpath、pyquery(使用频率较少)正则基础用法单字符. : 除换行以外所有字符[] :[aoe] [a-w] 匹配集合中任意一个字符\d :数字 [0-9]\D : 非数字\w :数字、字母、下划线、中文\W : 非\w\s :所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\原创 2021-04-14 23:55:12 · 225 阅读 · 0 评论