小白入门Python爬虫,了解爬虫的基本工作原理和相关的理论基础
爬虫工作原理总结来讲就是四部曲:
发送请求-获取页面-解析页面-保存内容
Python爬虫各部分的学习框架进行拆分讲解
第一理论基础:Python编程
不用担心Python编程会很难学,在跟Java、C语言相比,Python算是一门较容易学的编程语言了,语言简洁高效,易上手操作,对新手小白很友好。
学习Python爬虫无非就是先把Python基础知识学好,像Python开发环境使用、基础语法、常量与变量、算数、条件循环语句、数据结构类型、字符串、正则表达式、基本函数、异常处理这些,内容是有一点多,但难度不是很大,0基础新手小白需要花点心思和时间去理解这些概念涵义。
基础之后可以逐步学习Python面向对象的编程、类、多重继承、模块、异常机制、多进程与线程等内容
Python编程重在理清语法逻辑,熟练代码,掌握最核心的语法应用,比如字符串、正则表达式、循环语句等,这些在爬虫中几乎都要用到。
核心知识点可参考下面这张图,
先大概了解一下Python的基础知识,有些东西一开始不太理解到后面接触的知识范围广了,会突然有豁然开朗的感觉。
Python入门教材的话新手有一本入门学习的书籍就够了,多了也看不完,最后还是躺在桌子上吃灰了,我比较推荐的是《Python编程:入门到实践》
Python爬虫 | 思维导图
爬虫核心技巧
技巧一:请求库
请求库有:requests、selenium、urllib、aiohttp,我个人比较推荐新手小白掌握urllib和requests请求库。
urllib库
是Python内置的HTTP请求库,不需要额外安装即可使用,包含以下4个模块:
request 打开和读取 URL,最基本的HTTP请求模块,可以用来模拟发送请求
error 包含 urllib.request 抛出的异常,如果出现请求错误,我们可以捕获这些异常,然后进行重试或其他操作以保证程序不会意外终止。
parse 用于解析 URL,比如拆分、解析、合并等。
robotparser 用于解析 robots.txt 文件,主要是用来识别网站的robots.txt文件,然后判断哪些网站可以爬,哪些网站不可以爬。
需要注意的是urllib不能自动判断重定向,需要自己解析重定向的链接并重新请求。
如果你只是爬取一般的网页,那么Python自带的urllib库足够用了,如果是想要爬取异步加载的动态网站,requests库会方便很多。
requests库
功能强大的爬取网页信息的第三方库,可以进行自动爬取HTML页面及自动网络请求提交的操作。
requests库的主要方法:
Response对象
技巧二:抓包工具分析网络请求
抓取工具主要有chrome firefox fidder appium,重点讲一下fidder,基本可以说目前最为全面和强大的抓包工具就是fiddler了,使用也不算麻烦。
Fiddler也在官网上有提供非常详细的文档和教程,如果使用的时候遇到问题,可以直接查阅官网文档。我们可以利用Fiddler详细的对HTTP请求进行分析,并模拟对应的HTTP请求。
fiddler本质就是一个HTTP代理服务器,功能非常强大,除了可以清晰的了解每个请求与响应之外,还可以进行断点设置,修改请求数据、拦截响应内容。
技巧三:解析数据库
解析库有非常多可以选择,比如CSS、pyqery、re、xpath等,比较建议掌握Beautiful Soup和Xpath
Beautiful Soup解析库
为第三方库需要安装使用,在命令行用pip安装就可以了:
pip install bs4
具体用法:变量名称 = BeautifulSoup(需要解析的数据,"html.parser’)
它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序,能自动转换编码。
BeautifulSoup支持的解析器
1.Python标准库:内置库、执行速度适中、文档容错能力强;
2.lxml HTML解析器:速度快,文档容错能力强(推荐);
3.lxml XML解析器:速度快,唯一支持xml的解析器;
4.html5lib:最好的容错性、以浏览器方式解析文档,生成HTML5格式的文档。
具体用法:soup=BeautifulSoup(markup,from_encoding=“编码方式”)
Xpath解析库
提供了非常简洁明了的路径选择表达式,XPath相对于正则表达式显得更加简洁明了,对于网页的节点来说,它可以定义id、class或其他属性。而且节点之间还有层次关系,在网页中可以通过XPath来定位一个或多个节点
规则:
技巧四:保存数据
学到这里就比较容易了,主要是对数据的存储和处理,有两种方式:
小规模数据可以使用txt文件、json文件、csv文件等方式来保存文件。
大规模数据就需要使用数据库了像mysql,mongodb、redis等,就比较方便查询管理。
这一块掌握主流的MongoDB 就可以了,可以方便你去存储一些非结构化的数据,比如各种评论的文本,图片的链接等等。
以上这些核心技巧Python都有相应的库帮你去做,你只需要知道如何去应用它们,掌握精通每一部分的一到两种方法就可以了。
还想对爬虫了解更多的话继续往下看吧
反爬虫应对
当你能够独自爬取80%以上的网站后,再学点反爬技巧,爬虫之路不会有太大的阻碍。
一般爬虫过程中可能会碰到像奇奇怪怪的验证码、被封IP(例如豆瓣和github,在检测到某一客户端频繁访问后,会直接封锁ip)、userAgent访问限制、动态数据加载、加密数据等这种反爬虫的手段。
简单一点的根据User-Agent过滤,例如知乎,我们只需要设置为和浏览器相同即可。常规的解决办法通常有比如控制访问频率、抓包、反加密字体、验证码OCR处理、使用代理IP池等,简单一点的根据User-Agent过滤,例如知乎,我们只需要设置为和浏览器相同即可。能够掌握常规的反爬技巧,绝大部分的网站爬虫不是问题。
这里需要提示一点的是:不要去挑战某宝的反爬!后果很严重!
如果不满足自己的爬虫效率,觉得爬取速度太慢了,可以去学习爬虫框架scrapy和分布式爬虫。
爬虫框架scrapy:
Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试.
Scrapy框架主要由五大组件组成,分别是调度器(Scheduler)、下载器(Downloader)、爬虫(Spider)和实体管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。
在复杂的情况下,scrapy框架不仅能够便捷地构建request,还有强大的 selector 能够方便地解析 response,这是一个功能十分强大的爬虫框架,可以实现爬虫工程化和模块化。
分布式爬虫
企业级爬虫,能实现数据的大规模采集,通俗一点来理解就是它可以实现多台电脑使用一个共同的爬虫程序,同时将爬虫任务部署到多台电脑上运行,这样可以提高爬虫速度和效率,需要掌握 Scrapy + MongoDB + Redis 这三种工具。
但是分布式爬虫对电脑的CPU和网速都有一定的要求,这个看个人需要,如果你需要用于大规模的数据爬取,分布式爬虫可以帮你解决很多的麻烦。大部分情况下单一爬虫都能满足一般的爬取需要,只是爬取效率比不了分布式爬虫,有条件的可以尝试学学分布式爬虫。
-END-
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、机器学习、自动化测试带你从零基础系统性的学好Python!
👉[CSDN大礼包:《python安装工具&全套学习资料》免费分享](安全链接,放心点击)
👉Python学习大礼包👈
👉Python学习路线汇总👈
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取哈)
👉Python必备开发工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉Python实战案例👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉Python书籍和视频合集👈
观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉Python面试刷题👈
👉Python副业兼职路线👈
这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要可以点击链接免费领取或者保存图片到wx扫描二v码免费领取 【保证100%免费
】
👉[CSDN大礼包:《python安装工具&全套学习资料》免费分享](安全链接,放心点击)