四.验证码处理:
1. 登陆验证码处理
2. 爬取速度过快出现的验证码处理
3. 如何用机器识别验证码
五.模拟登陆问题:
模拟登陆流程
cookie如何处理
如何处理网站传参加密的情况
六.分布式:
分布式原理
分布式如何判断爬虫已经停止了
分布式的去重原理
七.数据存储和数据库问题:
关系型数据库和非关系型数据库的区别
爬下来数据你会选择什么存储方式,为什么
各种数据库支持的数据类型,和特点
是否支持事务...
八.Python基础问题:
基础问题非常多,但是因为爬虫性质,还是有些问的比较多的,下面总结:
Python2和Python3的区别,如何实现python2代码迁移到Python3环境
Python2和Python3的编码方式有什么差别
迭代器,生成器,装饰器
Python的数据类型
九.协议问题:
http协议,请求由什么组成,
每个字段分别有什么用,
https和http有什么差距
证书问题
TCP,UDP各种相关问题
十.数据提取问题:
主要使用什么样的结构化数据提取方式,
可能会写一两个例子
正则的使用
动态加载的数据如何提取
json数据如何提取
十一.算法问题:
算法:你们要善用Python的数据类型,
对Python的数据结构深入了解
Python WEB面试常见问题
一. python语法以及其他基础部分:
\*\*可变与不可变类型\*\*
浅拷贝与深拷贝的实现方式、区别;
deepcopy如果你来设计,如何实现
\*\*new() 与 init()的区别\*\*
你知道几种设计模式
编码和解码你了解过么
列表推导list comprehension和生成器的优劣
什么是装饰器;如果想在函数之后进行装饰,应该怎么做
\*\*手写个使用装饰器实现的单例模式\*\*
使用装饰器的单例和使用其他方法的单例,在后续使用中,有何区别
手写:正则邮箱地址
\*\*介绍下垃圾回收:引用计数/分代回收/孤立引用环\*\*
多进程与多线程的区别,CPU密集型适合用什么
进程通信的方式有几种
介绍下协程,为何比线程还快
\*\*range和xrange的区别\*\*
二. 算法排序部分:
手写快排;堆排;几种常用排序的算法复杂度是多少;快排平均复杂度多少,最坏情况如何优化
手写:已知一个长度n的无序列表,元素均是数字,要求把所有间隔为d的组合找出来,你写的解法算法复杂度多少
手写:一个列表A=[A1,A2,…,An],要求把列表中所有的组合情况打印出来;
手写:用一行python写出1+2+3+…+10\*\*8
手写python:用递归的方式判断字符串是否为回文
单向链表长度未知,如何判断其中是否有环
单向链表如何使用快速排序算法进行排序
手写:一个长度n的无序数字元素列表,如何求中位数,如何尽快的估算中位数,9).你的算法复杂度是多少;
如何遍历一个内部未知的文件夹(两种树的优先遍历方式)
三. 网络基础部分:
TCP/IP分别在模型的哪一层
socket长连接是什么意思
select和epoll你了解么,区别在哪
TCP UDP区别;三次握手四次挥手讲一下
TIME_WAIT过多是因为什么
http一次连接的全过程:你来说下从用户发起request——到用户接收到 response
http连接方式。get和post的区别,你还了解其他的方式么
restful你知道么
状态码你知道多少,比如200/403/404/504等等
四. 数据库部分:
**一、Python所有方向的学习路线**
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
![img](https://img-blog.csdnimg.cn/1d40facda2b84990b8e1743f5487d455.png)
![img](https://img-blog.csdnimg.cn/0fc11d4a31bd431dbf124f67f1749046.png)
**二、Python必备开发工具**
工具都帮大家整理好了,安装就可直接上手!![img](https://img-blog.csdnimg.cn/ff266f529c6a46c4bc28e5f895dec647.gif#pic_center)
**三、最新Python学习笔记**
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
![img](https://img-blog.csdnimg.cn/6d414e9f494742db8bcc3fa312200539.png)
**四、Python视频合集**
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
![img](https://img-blog.csdnimg.cn/a806d9b941c645858c61d161aec43789.png)
**五、实战案例**
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。![img](https://img-blog.csdnimg.cn/a353983317b14d3c8856824a0d6186c1.png)
**六、面试宝典**
![在这里插入图片描述](https://img-blog.csdnimg.cn/97c454a3e5b4439b8600b50011cc8fe4.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/111f5462e7df433b981dc2430bb9ad39.png)
###### **简历模板**![在这里插入图片描述](https://img-blog.csdnimg.cn/646863996ac44da8af500c049bb72fbd.png#pic_center)
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化学习资料的朋友,可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**