首先声明:爬虫不是Python的专利!!!
之所以把这句话放在前面,是因为有太多小白觉得爬虫只能用Python。如果以这样的迷糊状态开启编程之路,就显得有点稀里糊涂了。
Python能在爬虫领域得到广泛利用,主要是它写起来简单,又拥有庞大的类库。有现成的爬虫框架,比如,scrapy;不用框架的话,还有requests 和beautifusoup。
什么是爬虫
通俗点说就是爬各种数据、图片的工具。官方话术:
网络爬虫(又被称为网页 蜘蛛,网络机器人,在 FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取 万维网信息的程序或者脚本。另外一些不常使用的名字还有 蚂蚁、自动索引、模拟程序或者 蠕虫。
爬虫如何工作
有着钢铁般身躯的爬虫,工作不是996而是007。
呃 ,不对。这里是要说它的工作原理:
1、发送请求
使用http库向目标站点发起请求,即发送一个Request
Request包含:请求头、请求体等
Request模块缺陷:不能执行JS 和CSS 代码
2、获取响应内容
如果服务器能正常响应,则会得到一个Response
Response包含:html,json,图片,视频等
3、解析内容
解析html数据:正则表达式(RE模块),第三方解析库如lxml,bs4等
解析json数据:json模块
解析二进制数据:以wb的方式写入文件
4、保存数据
数据库(MySQL,Mongdb、Redis)
文件
如何学习Python爬虫
鉴于我们都是新手,这里就先学点简单实用的爬虫知识,然后做出一些可以看到成绩的结果吧。比如爬取豆瓣电影排行榜;
1、准备工作
既然开始学习Python爬虫了,pycharm还是必须得下载配置好呗,这是我们写Python代码的工具。你要是刚开始学Python,嫌配置环境麻烦,也可以用下面这个在线编程网站过渡下。
2、Python基础语法知识
写一些简单的爬虫,不需要学习完Python所有的语法知识。但下面这几个点你必须得掌握:
Python判断语句和循环语句;
常用数据结构:列表、元组、集合、字典、函数;
文件操作、错误与异常处理。
3、爬虫入门
在一定程度上掌握了Python语法知识后,我们先来学习Python爬虫入门,
主要是两个知识点:
urllib库的使用
正则表达式
读者福利:知道你对Python感兴趣,便准备了这套python学习资料
👉[[CSDN大礼包:《python兼职资源&全套学习资料》免费分享]](安全链接,放心点击)
对于0基础小白入门:
如果你是零基础小白,想快速入门Python是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、机器学习等习教程。带你从零基础系统性的学好Python!
零基础Python学习资源介绍
- ① Python所有方向的学习路线图,清楚各个方向要学什么东西
- ② 600多节Python课程视频,涵盖必备基础、爬虫和数据分析
- ③ 100多个Python实战案例,含50个超大型项目详解,学习不再是只会理论
- ④ 20款主流手游迫解 爬虫手游逆行迫解教程包
- ⑤ 爬虫与反爬虫攻防教程包,含15个大型网站迫解
- ⑥ 爬虫APP逆向实战教程包,含45项绝密技术详解
- ⑦ 超300本Python电子好书,从入门到高阶应有尽有
- ⑧ 华为出品独家Python漫画教程,手机也能学习
- ⑨ 历年互联网企业Python面试真题,复习时非常方便
👉Python学习路线汇总👈
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取哈)
👉Python必备开发工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉Python学习视频600合集👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉实战案例👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉100道Python练习题👈
检查学习结果。
👉面试刷题👈
👉python副业兼职与全职路线👈
上述这份完整版的Python全套学习资料已经上传CSDN官方,朋友们如果需要可以微信扫描下方CSDN官方认证二维码 即可领取↓↓↓
![](https://i-blog.csdnimg.cn/blog_migrate/ea36696e89b97bda53f100482ef70ad1.png)