很多朋友不知道 Python 爬虫怎么入门,怎么学习,到底要学习哪些内容。今天我来给大家说说学习爬虫,我们必须掌握的一些第三方库。
废话不多说,直接上干货。
1 请求库
1. requests
GitHub:https://github.com/psf/requests
requests 库应该是现在做爬虫最火最实用的库了,非常的人性化。有关于它的使用我之前也写过一篇文章 一起看看 Python 之 Requests 库,大家可以去看一下。
有关于 requests 最详细的使用方法,大家可以参考官方文档:https://requests.readthedocs.io/en/master/
使用小案例:
>>> import requests>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))>>> r.status_code200>>> r.headers['content-type']'application/json; charset=utf8'>>> r.encoding'utf-8'>>> r.textu'{"type":"User"...'>>> r.json(){u'disk_usage': 368627, u'private_gists': 484, ...}
2. urllib3
GitHub:https://github.com/urllib3/urllib3
urllib3 是一个非常强大的 http 请求库,提供一系列的操作 URL 的功能。
有关于它的详细使用方法可以参考:https://urllib3.readthedocs.io/en/latest/
使用小案例:
>>> import urllib3>>> http = urllib3.PoolManager()>>> r = http.request('GET', 'http://httpbin.org/robots.txt')>>> r.status200>>> r.data'User-agent: *\nDisallow: /deny\n'
3.selenium
GitHub:https://github.com/SeleniumHQ/selenium
自动化测试工具。一个调用浏览器的 driver,通过这个库你可以直接调用浏览器完成某些操作,比如输入验证码。
对于这个库并非只是 Python 才能用,像 JAVA、Python、C# 等都能够使用 selenium 这个库
有关于 Python 语言如何去使用这个库,大家可以去访问 https://seleniumhq.github.io/selenium/docs/api/py/ 查看官方文档
使用小案例:
from selenium import webdriver
browser = webdriver.Firefox()browser.get('http://seleniumhq.org/')
4.aiohttp
GitHub:https://github.com/aio-libs/aiohttp
基于 asyncio 实现的 HTTP 框架。异步操作借助于 async/await 关键字,使用异步库进行数据抓取,可以大大提高效率。
这个属于进阶爬虫时候必须掌握的异步库。有关于 aiohttp 的详细操作,可以去官方文档:https://aiohttp.readthedocs.io/en/stable/
使用小案例:
import aiohttpimport asyncio
async def fetch(session, url): async with session.get(url) as response: return await response.text()
async def main(): async with aiohttp.ClientSession() as session: html = await fetch(session, 'http://python.org') print(html)
if __name__ == '__main__': loop = asyncio.get_event_loop() loop.run_until_complete(main())
2 解析库
1、beautifulsoup
官方文档:https://www.crummy.com/software/BeautifulSoup/
html 和 XML 的解析,从网页中提取信息,同时拥有强大的 API 和多样解析方式。一个我经常使用的解析库,对于 html 的解析是非常的好用。对于写爬虫的人来说这也是必须掌握的库。
2、 lxml
GitHub:https://github.com/lxml/lxml
支持 HTML 和 XML 的解析,支持 XPath 解析方式,而且解析效率非常高。
3、pyquery
GitHub:https://github.com/gawel/pyquery
jQuery 的 Python 实现,能够以 jQuery 的语法来操作解析 HTML 文档,易用性和解析速度都很好。
3数据存储库
1、pymysql****
GitHub:https://github.com/PyMySQL/PyMySQL
官方文档:https://pymysql.readthedocs.io/en/latest/
一个纯 Python 实现的 MySQL 客户端操作库。非常的实用、非常的简单。
2、pymongo
GitHub:https://github.com/mongodb/mongo-python-driver
官方文档:https://api.mongodb.com/python/
顾名思义,一个用于直接连接 mongodb 数据库进行查询操作的库。
3、redisdump
使用方法:https://blog.csdn.net/zhwitbird/article/details/81279406
redis-dump 是将 redis 和 json 互转的工具;redis-dump 是基于 ruby 开发,需要 ruby 环境,而且新版本的 redis-dump 要求 2.2.2 以上的 ruby 版本,centos 中 yum 只能安装 2.0 版本的 ruby。需要先安装 ruby 的管理工具 rvm 安装高版本的 ruby;
这里给大家分享一份Python全套学习资料,包括学习路线、软件、源码、视频、面试题等等,都是我自己学习时整理的,希望可以对正在学习或者想要学习Python的朋友有帮助!
CSDN大礼包:全网最全《全套Python学习资料》免费分享🎁
😝有需要的小伙伴,可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓
1️⃣零基础入门
① 学习路线
对于从来没有接触过Python的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
② 路线对应学习视频
还有很多适合0基础入门的学习视频,有了这些视频,轻轻松松上手Python~
③练习题
每节视频课后,都有对应的练习题哦,可以检验学习成果哈哈!
因篇幅有限,仅展示部分资料
2️⃣国内外Python书籍、文档
① 文档和书籍资料
3️⃣Python工具包+项目源码合集
①Python工具包
学习Python常用的开发软件都在这里了!每个都有详细的安装教程,保证你可以安装成功哦!
②Python实战案例
光学理论是没用的,要学会跟着一起敲代码,动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。100+实战案例源码等你来拿!
③Python小游戏源码
如果觉得上面的实战案例有点枯燥,可以试试自己用Python编写小游戏,让你的学习过程中增添一点趣味!
4️⃣Python面试题
我们学会了Python之后,有了技能就可以出去找工作啦!下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
5️⃣Python兼职渠道
而且学会Python以后,还可以在各大兼职平台接单赚钱,各种兼职渠道+兼职注意事项+如何和客户沟通,我都整理成文档了。
上述所有资料 ⚡️ ,朋友们如果有需要 📦《全套Python学习资料》的,可以扫描下方二维码免费领取 🆓
😝有需要的小伙伴,可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓