T1st0r的博客

原创 python爬虫-xpath常用补充

转载 Python爬虫-正则表达式补充

一.正则表达式正则表达式（Regular Expression，简称Regex或RE）又称为正规表示法或常规表示法，常常用来检索、替换那些符合某个模式的文本，它首先设定好了一些特殊的字及字符组合，通过组合的“规则字符串”来对表达式进行过滤，从而获取或匹配我们想要的特定内容。它具有灵活、逻辑性和功能性非常的强，能迅速地通过表达式从字符串中找到所需信息的优点，但对于刚接触的人来说，比较晦涩难懂。1.re模块Python通过re模块提供对正则表达式的支持，使用正则表达式之前需要导入该库。import re

转载 python爬虫--aiohttp使用

1.aiohttp的简单使用(配合asyncio模块)import asyncio,aiohttpasync def fetch_async(url):print(url)async with aiohttp.request(“GET”,url) as r:reponse = await r.text(encoding=“utf-8”)　　#或者直接await r.read()不编码，直接读取，适合于图像等无法编码文件print(reponse)tasks = [fetch_async(‘ht

转载 Python爬虫——异步爬虫

高性能异步爬虫目的:在爬虫中使用异步实现高性能的数据爬取操作。异步爬虫的方式：——多线程，多进程（不建议使用）好处:可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行弊端：无法无限制开启线程——进程池，线程池（适当使用）好处:我们可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销。弊端:池中线程或进程的数量有上限。...

原创 Python爬虫 代理简述

代理破解IP反扒机制什么是代理:——代理服务器。代理的作用：——突破自身IP访问的限制。——可以隐藏自身ip被攻击代理相关网站:——快代理——西祠代理代理的类型：http：只能被用于http协议对应的url中https:只能用于https协议对应的url中格式proxies={‘http/https’:‘192.168.1.0:8080’}...

原创 Python爬虫模拟登陆cookie操作

Cookie获取http/https的协议特性是无状态的有请求到对应页面数据的原因：发起的第二次基于个人主页页面请求的时候，服务器端并不知道此请求是基于登陆状态下的请求Cookie:用来让服务器记录客户端相关状态——手动处理:通过抓包工具获取cookie值，将该值封装到headers中。（不建议）——自动处理：-cookie值的来源在哪里？-模拟登陆post请求后，由服务器创建Session会话对象:-作用：1.可以进行请求的发送2.如果请求过程中产生了cookie，则该cookie

原创 Python爬虫 验证码

验证码反扒机制识别验证码用于模拟登陆识别验证码的操作1.人工肉眼识别（不推荐）2.第三方自动识别（推荐）

原创 Python爬虫教学

Python爬虫教学 数据解析分类1.正则2.bs43.xpath数据解析原理概述1.进行指定标签的定位2.标签或者标签对应的属性中储存的数据值进行提取正则解析模板:ex=’.?<img src="(.?)" alt.*?>’bs4进行数据解析解析原理1.标签定位2.提取标签或者标签属性中存储的数据值bs4解析的过程1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中2.通过调用BeautifulSoup对象中相关的属性或者方法进