python爬虫与django_爬虫工程师与django工程师有区别吗

爬虫工程师与django工程师有有神大区别！下面我们来说一下两者都是什么。

爬虫工程师是干嘛的？

互联网是由一个一个的超链接组成的，从一个网页的链接可以跳到另一个网页，在新的网页里，又有很多链接。理论上讲，从任何一个网页开始，不断点开链接、链接的网页的链接，就可以走遍整个互联网！这个过程是不是像蜘蛛沿着网一样爬？这也是“爬虫”名字的由来。

作为爬虫工程师，就是要写出一些能够沿着网爬的”蜘蛛“程序，保存下来获得的信息。一般来说，需要爬出来的信息都是结构化的，如果不是结构化的，那么也就没什么意义了(百分之八十的数据是非结构化的)。爬虫的规模可达可小，小到可以爬取豆瓣的top 250电影，定时爬取一个星期的天气预报等。大到可以爬取整个互联网的网页(例如google)。下面这些，我认为都可以叫做爬虫：

爬知乎的作者和回答爬百度网盘的资源，存到数据库中(当然，只是保存资源的链接和标题)，然后制作一个网盘的搜索引擎同上，种子网站的搜索引擎也是这样的

到这里，我们知道爬虫的任务是获取数据。现在比较流行大数据，从互联网方面讲，数据可以分成两种，一种是用户产生的(UGC)，第二种就是通过一些手段获得的，通常就是爬虫。爬虫又不仅仅局限于从网页中获得数据，也可以从app抓包等。简而言之，就是聚合数据并让他们结构化。那么，哪些工作需要爬虫呢？

Django工程师主要做什么？

Django工程师主要是负责开发网站的，负责以下方面的工作

1、设计和开发面向前端的Restful服务

2、配合产品和移动设计产品交互和接口设计方案

3、某些业务逻辑需要异步调用第三方服务

4、要对自己的模块技术质量负责，要关注最终相关的产品用户体验。

5、要对产品的业务发展有一定关注

总结

Django是一个web开发框架，Django工程师主要做网站开发与建设；爬虫工程师主要做网络数据采集，整理，分析，数据清洗等工作，两者还是有本质区别的。