python爬虫是什么？为什么需要使用爬虫​？爬虫工程师薪资怎么样？

知道大家带着疑问来的！为什么都在说爬虫，爬虫方便工作，好找工作薪资还高，可是到底是什么，能做什么都还是一脸懵！那就接着往下看~

爬虫就是爬行类动物，冷血动物，有的好多脚，好吓人。。。等等不对！

跑题了不是这个爬虫是网络爬虫！

*爬虫是神马？？？*

Python 爬虫即使用 Python 程序开发的网络爬虫（网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

其实通俗的讲就是通过程序去获取 web页面上自己想要的数据，也就是自动抓取数据。

*为什么需要使用爬虫？*

大家可以想象一下一个场景：你非常崇拜一个微博名人，对他的微博非常着迷，你想把他十年来微博上的每一句话摘抄下来，制作成名人语录。这个时候你怎么办呢？手动去 Ctrl+C 和 Ctrl+V 吗？这种方法确实没错，数据量小的时候我们还可以这样做，但是数据成千上万的时候你还要这样做吗？

我们再来想象另一个场景：你要做一个新闻聚合网站，每天需要定时去几个新闻网站获取最新的新闻，我们称之为 RSS 订阅。难道你会定时去各个订阅网站复制新闻吗？恐怕个人很难做到这一点吧。

上面两种场景，使用爬虫技术可以很轻易地解决问题。所以，我们可以看到，爬虫技术主要可以帮助我们做两类事情：一类是数据获取需求，主要针对特定规则下的大数据量的信息获取；另一类是自动化需求，主要应用在类似信息聚合、搜索等方面。

大大提高工作效率和工作质量！

从爬取对象来看，爬虫可以分为通用爬虫和聚焦爬虫两类。

通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为搜索引擎和大型 Web 服务提供商采集数据。这类网络爬虫的爬取范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低。例如我们常见的百度和谷歌搜索。我们输入关键词，它们会从全网去找关键词相关的网页，并且按照一定的顺序呈现给我们。

聚焦网络爬虫（Focused Crawler），是指选择性地爬取那些与预先定义好的主题相关页面的网络爬虫。和通用网络爬虫相比，聚焦爬虫只需要爬取特定的网页，爬取的广度会小很多。例如我们需要爬取东方财富网的基金数据，我们只需要针对东方财富网的页面制定规则爬取就行。

通俗地讲，通用爬虫就类似于一只蜘蛛，需要寻找特定的食物，但是它不知道蜘蛛网的哪个节点有，所以它只能从一个节点开始寻找，遇到节点就看一下，如果有食物就获取食物，如果这个节点指示某某节点有食物，那它就顺着指示去寻找下个节点。而聚焦网络爬虫就是这只蜘蛛知道哪个节点有食物，它只需要规划好路线到达那个节点就能获取到食物。

python爬虫工程师薪资

***2019年9月北京招收程序员26430人。2019年9月北京程序员平均工资17224元，工资中位数15000元，其中95%的人的工资介于3750元到45000元。

---

北京Python工程师平均薪资22K，其中，30K-50K薪资的人群占比23.4%，20K-30K薪资人群占比38%。这个薪资较 2018 年，增长 11.9%。

2019年11月Python工程师的招聘岗位为10637个，Python工程师的火热可见一斑。

除了北京，上海、深圳这样的一线城市Python薪资都超过21K：

• 上海Python工程师平均薪资21K；
• 深圳Python工程师平均薪资21K；

广州、杭州不甘落后：

• 广州Python工程师平均薪资17K；
• 杭州Python工程师平均薪资17K；

再来看二线城市Python薪资情况：

• 武汉Python工程师平均薪资14K；
• 成都Python工程师平均薪资16K；
• 重庆Python工程师平均薪资13K；
• 长沙Python工程师平均薪资14K；
• 福州Python工程师平均薪资11K；
• 西安Python工程师平均薪资12K；
• 昆明Python工程师平均薪资10K；
• 郑州Python工程师平均薪资10K；

除了北上广深等一线城市，二线城市如成都、武汉、长沙的平均薪资也都超过了14K，比去年的11K多出了3k.

来自智联招聘、看准网、拉勾网、前程无忧、中华英才网等招聘网站的数据显示，随着 Python 语言的持续火热，对于 Python 技术人才的需求也在不断增加——日均需求量甚至达到了 15000+，北上广深等一线城市的需求更是数量庞大。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

朋友们如果需要这份完整的资料可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、Python学习大纲

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

三、入门学习视频

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、python副业兼职与全职路线

👉[[CSDN大礼包：《python兼职资源&全套学习资料》免费分享]]（安全链接，放心点击）