Python面试常见问题,涉及Python各个方面

这篇博客总结了Python爬虫面试中常见的问题,涵盖了项目实践、Scrapy框架、反爬策略、代理、验证码处理、模拟登录、分布式爬虫、数据存储、Python基础知识、HTTP协议、数据提取和算法等多个方面。通过这些问题,你可以全面了解并准备Python爬虫相关的面试。
摘要由CSDN通过智能技术生成

在这里插入图片描述
爬虫面试常见问题

一、项目问题:

1.你写爬虫的时候都遇到过什么反爬虫措施,你是怎样解决的

2.用的什么框架。为什么选择这个框架

二、框架问题:

1.scrapy的基本结构(五个部分都是什么,请求发出去的整个流程)

2.scrapy的去重原理(指纹去重到底是什么原理)

3.scrapy中间件有几种类,你用过哪些中间件

4.scrapy中间件在哪里起的作业(面向切片编程)

三、代理问题:

1.为什么会用到代理

2.代理怎么使用(具体代码, 请求在什么时候添加的代理)

3.代理失效了怎么处理

四、验证码处理:

1.登陆验证码处理

2.爬取速度过快出现的验证码处理

3.如何用机器识别验证码

五、模拟登陆问题:

1.模拟登陆流程

2.cookie如何处理

3.如何处理网站传参加密的情况

六、分布式:

1.分布式原理

2.分布式如何判断爬虫已经停止了

3.分布式的去重原理

七、数据存储和数据库问题:

1.关系型数据库和非关系型数据库的区别

2.爬下来数据你会选择什么存储方式,为什么

3.各种数据库支持的数据类型,和特点

八、Python基础问题:

ps:基础问题是非常多的,因为是爬虫性质,所以抽了一些问的比较多的,总结如下:

1.Python2与Python3的区别,如何实现python2代码迁移到Python3环境

2.Python2和Python3的编码方式有什么差别

3.迭代器,生成器,装饰器

4.Python的数据类型

九、协议问题:

1.http协议,请求由什么组成,每个字段分别有什么用,https和http有什么差距

2.证书问题

3.TCP,UDP各种相关问题

十、数据提取问题:

1.主要使用什么样的结构化数据提取方式,可能会写一两个例子

2.正则的使用

3.动态加载的数据如何提取

4.json数据如何提取

十一、算法问题:

算法:你们要善用Python的数据类型,对Python的数据结构深入了解
在这里插入图片描述

Python web面试常见问题

一、Python语法以及其他基础部分:

1.可变与不可变类型

2.浅拷贝与深拷贝的实现方式、区别;deepcopy如果你来设计,如何实现

3.new()与init()的区别

4.你知道几种设计模式

5.编码与解码你了解过吗

6.列表推导式list comprehension和生成器的优劣

7.什么是装饰器;如果想在函数之后进行装饰,应该怎么做

8.手写个使用装饰器实现的单例模式

9.使用装饰器的单例和使用其他方法的单例,在后续使用中,有何区别

10.手写:正则邮箱地址

11.介绍下垃圾回收:引用计数/分代回收/孤立引用环

12.多进程和多线程的区别,cpu密集型适合用什么

13.进程通信的方式有几种

14.介绍下协程,为何比线程快

15.range和xrange的区别

二、算法排序部分:

1.手写快排;堆排;几种常用排序的算法复杂度是多少;快排平均复杂度多少,最坏情况如何优化

2.手写:已知一个长度n的无序列表,元素均是数字,要求把所有间隔为d的组合找出来,你写的解法算法复杂度多少

3.手写:一个列表A=[A1,A2,…,An],要求把列表中所有的组合情况打印出来;

4.手写:用一行python写出1+2+3+…+10**8

5.手写python:用递归的方式判断字符串是否为回文

6.单向链表长度未知,如何判断其中是否有环

7.单向链表如何使用快速排序算法进行排序

7.手写:一个长度n的无序数字元素列表,如何求中位数,如何尽快的估算中位数,9).你的算法复杂度是多少;

8.如何遍历一个内部未知的文件夹(两种树的优先遍历方式)

三、网络基础部分:

1.TCP/IP分别在模型的哪一层

2.socket长连接是什么意思

3.select和epoll你了解么,区别在哪

4.TCP UDP区别;三次握手四次挥手讲一下

5.TIME_WAIT过多是因为什么

6.http一次连接的全过程:你来说下从用户发起request——到用户接收到 response

7.http连接方式。get和post的区别,你还了解其他的方式么

8.restful你知道么

9.状态码你知道多少,比如200/403/404/504等等

四、数据库部分:

1.MySQL锁有几种;死锁是怎么产生的; 为何,以及如何分区、分表;

2.MySQL的char varchar text的区别:

了解join么,有几种有何区别,A LEFT JOIN B,查询的结果中,B没有的那部分是如何显示的(NULL)

3.索引类型有几种,BTree索引和hash索引的区别

4.手写:如何对查询命令进行优化

5.NoSQL了解么,和关系数据库的区别,redis有几种常用存储类型

五、linux部分:

1.讲一下你常用的Linux/git命令和作用;

2.查看当前进程是用什么命令,除了文件相关的操作外,你平时还有什么操作命令;

六. Django项目部分:

都是让简单的介绍下你在公司的项目,不管是不是后端相关的,主要是要体现出你干了什么

你在项目中遇到最难的部分是什么,你是怎么解决的; 你看过django的admin源码么
看过flask的源码么,你如何理解开源
MVC / MTV, 缓存怎么用, 中间件是干嘛的
CSRF是什么,django是如何避免的,XSS
如果你来设计login,简单的说一下思路
session和cookie的联系与区别,session为什么说是安全的
uWSGI和Nginx的作用;

-END-


学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、机器学习、自动化测试带你从零基础系统性的学好Python!

👉[CSDN大礼包:《python安装工具&全套学习资料》免费分享]安全链接,放心点击

👉Python学习大礼包👈

在这里插入图片描述

👉Python学习路线汇总👈

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取哈)
在这里插入图片描述

👉Python必备开发工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉Python实战案例👈

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

👉Python书籍和视频合集👈

观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

👉Python面试刷题👈

👉Python副业兼职路线👈

在这里插入图片描述
在这里插入图片描述
这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要可以点击链接免费领取或者保存图片到wx扫描二v码免费领取保证100%免费

👉[CSDN大礼包:《python安装工具&全套学习资料》免费分享]安全链接,放心点击

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值