python爬虫面试题和答案_Python面试题爬虫篇(附答案)

第一部分 必答题

注意：第31题1分，其他题均每题3分。

1，了解哪些基于爬虫相关的模块？

2，常见的数据解析方式？

3，列举在爬虫过程中遇到的哪些比较难的反爬机制？

4，简述如何抓取动态加载数据？

5，移动端数据如何抓取？

6，抓取过哪些类型的数据，量级多少？

7，了解哪些爬虫框架？

8，谈谈对scrapy的了解？

9，如何解析出携带标签的局部页面数据？

10，scrapy核心组件？

11，scrapy中间件的应用？

12，如何实现全站数据爬取？

13，如何检测网站数据更新？

14，分布式爬虫实现原理？

15，如何提升爬取数据的效率（异步爬虫）

16，列举你接触的反爬机制？

17，什么是深度优先和广度优先（优劣）

18，scrapy如何实现持久化存储

19，谈谈对crawlspider的理解，如何使用其进行深度爬取

20，如何实现数据清洗？

21，了解过机器学习吗？

22，在爬虫中为什么需要是用selenium？selenium和爬虫之间的关联么？

23，列举你所熟知的selenium模块中的常用方法及其作用

24，解释在多任务异步协程中事件循环（loop）的作用是什么？

25，多任务异步协程是如何实现异步的？

26，验证码如何处理？

27，scrapy 和 scrapy-redis 有什么区别？

28，说一说打开浏览器访问

29，列出你知道 header 的内容以及信息

30，简述scrapy的去重原理？

31，下列叙述中错误的是：（1分）

A.栈是线性结构B.队列是线性结构

C.线性列表是线性结构D.二叉树是线性结构

32，简述前序、中序、后续遍历？

33，写代码：实现一个冒泡排序。

34，写代码：实现一个快速排序。

第二部分 补充题

1，列举常见用的git命令？

2，你们公司/团队用怎么做的协同开发？

3，公司如何做代码review？谁来做？

4，线上代码如果出现bug如何解决？

5，git rebase的作用？

原文：https://www.cnblogs.com/linglichong/p/12425560.html