Python面试常见问题

python 专栏收录该内容
1466 篇文章 29 订阅

爬虫面试常见问题

一.项目问题:

  1. 你写爬虫的时候都遇到过什么反爬虫措施,你是怎样解决的

  2. 用的什么框架。为什么选择这个框架

二.框架问题:

  1. scrapy的基本结构(五个部分都是什么,请求发出去的整个流程)

  2. scrapy的去重原理(指纹去重到底是什么原理)

  3. scrapy中间件有几种类,你用过哪些中间件

  4. scrapy中间件在哪里起的作业(面向切片编程)

三.代理问题:

  1. 为什么会用到代理

  2. 代理怎么使用(具体代码, 请求在什么时候添加的代理)

  3. 代理失效了怎么处理

四.验证码处理:

  1. 登陆验证码处理

  2. 爬取速度过快出现的验证码处理

  3. 如何用机器识别验证码

五.模拟登陆问题:

  1. 模拟登陆流程

  2. cookie如何处理

  3. 如何处理网站传参加密的情况

六.分布式:

  1. 分布式原理

  2. 分布式如何判断爬虫已经停止了

  3. 分布式的去重原理

七.数据存储和数据库问题:

  1. 关系型数据库和非关系型数据库的区别

  2. 爬下来数据你会选择什么存储方式,为什么

  3. 各种数据库支持的数据类型,和特点

    是否支持事务...

八.Python基础问题:

基础问题非常多,但是因为爬虫性质,还是有些问的比较多的,下面总结:

  1. Python2和Python3的区别,如何实现python2代码迁移到Python3环境

  2. Python2和Python3的编码方式有什么差别

  3. 迭代器,生成器,装饰器

  4. Python的数据类型

九.协议问题:

  1. http协议,请求由什么组成,每个字段分别有什么用,https和http有什么差距

  2. 证书问题

  3. TCP,UDP各种相关问题

十.数据提取问题:

  1. 主要使用什么样的结构化数据提取方式,可能会写一两个例子

  2. 正则的使用

  3. 动态加载的数据如何提取

  4. json数据如何提取

十一.算法问题:

算法:你们要善用Python的数据类型,对Python的数据结构深入了解

Python WEB面试常见问题

一. python语法以及其他基础部分:

  1. 可变与不可变类型
  2. 浅拷贝与深拷贝的实现方式、区别;deepcopy如果你来设计,如何实现
  3. new() 与 init()的区别
  4. 你知道几种设计模式
  5. 编码和解码你了解过么
  6. 列表推导list comprehension和生成器的优劣
  7. 什么是装饰器;如果想在函数之后进行装饰,应该怎么做
  8. 手写个使用装饰器实现的单例模式
  9. 使用装饰器的单例和使用其他方法的单例,在后续使用中,有何区别
  10. 手写:正则邮箱地址
  11. 介绍下垃圾回收:引用计数/分代回收/孤立引用环
  12. 多进程与多线程的区别,CPU密集型适合用什么
  13. 进程通信的方式有几种
  14. 介绍下协程,为何比线程还快
  15. range和xrange的区别

二. 算法排序部分:

  1. 手写快排;堆排;几种常用排序的算法复杂度是多少;快排平均复杂度多少,最坏情况如何优化
  2. 手写:已知一个长度n的无序列表,元素均是数字,要求把所有间隔为d的组合找出来,你写的解法算法复杂度多少
  3. 手写:一个列表A=[A1,A2,…,An],要求把列表中所有的组合情况打印出来;
  4. 手写:用一行python写出1+2+3+…+10**8
  5. 手写python:用递归的方式判断字符串是否为回文
  6. 单向链表长度未知,如何判断其中是否有环
  7. 单向链表如何使用快速排序算法进行排序
  8. 手写:一个长度n的无序数字元素列表,如何求中位数,如何尽快的估算中位数,9).你的算法复杂度是多少;
  9. 如何遍历一个内部未知的文件夹(两种树的优先遍历方式)

三. 网络基础部分:

  1. TCP/IP分别在模型的哪一层
  2. socket长连接是什么意思
  3. select和epoll你了解么,区别在哪
  4. TCP UDP区别;三次握手四次挥手讲一下
  5. TIME_WAIT过多是因为什么
  6. http一次连接的全过程:你来说下从用户发起request——到用户接收到 response
  7. http连接方式。get和post的区别,你还了解其他的方式么
  8. restful你知道么
  9. 状态码你知道多少,比如200/403/404/504等等

四. 数据库部分:

  1. MySQL锁有几种;死锁是怎么产生的; 为何,以及如何分区、分表;
  2. MySQL的char varchar text的区别:
    了解join么,有几种有何区别,A LEFT JOIN B,查询的结果中,B没有的那部分是如何显示的(NULL)
  3. 索引类型有几种,BTree索引和hash索引的区别
  4. 手写:如何对查询命令进行优化
  5. NoSQL了解么,和关系数据库的区别,redis有几种常用存储类型

五. Linux部分:

讲一下你常用的Linux/git命令和作用;

查看当前进程是用什么命令,除了文件相关的操作外,你平时还有什么操作命令;

六. Django项目部分:

都是让简单的介绍下你在公司的项目,不管是不是后端相关的,主要是要体现出你干了什么

  1. 你在项目中遇到最难的部分是什么,你是怎么解决的; 你看过django的admin源码么
  2. 看过flask的源码么,你如何理解开源
  3. MVC / MTV, 缓存怎么用, 中间件是干嘛的
  4. CSRF是什么,django是如何避免的,XSS
  5. 如果你来设计login,简单的说一下思路
  6. session和cookie的联系与区别,session为什么说是安全的
  7. uWSGI和Nginx的作用;

每个公司各有特点,但是这些算是基础,也是常见问题。

更多Python视频、源码、资料加群683380553免费获取

  • 0
    点赞
  • 1
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
<p> <span style="font-size:14px;color:#337FE5;">【为什么学爬虫?】</span> </p> <p> <span style="font-size:14px;">       1、爬虫入手容易,但是深入较难,如何写出高效率的爬虫,如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中,经常容易遇到被反爬虫,比如字体反爬、IP识别、验证码等,如何层层攻克难点拿到想要的数据,这门课程,你都能学到!</span> </p> <p> <span style="font-size:14px;">       2、如果是作为一个其他行业的开发者,比如app开发,web开发,学习爬虫能让你加强对技术的认知,能够开发出更加安全的软件和网站</span> </p> <p> <br /> </p> <span style="font-size:14px;color:#337FE5;">【课程设计】</span> <p class="ql-long-10663260"> <span> </span> </p> <p class="ql-long-26664262" style="font-size:11pt;color:#494949;"> 一个完整的爬虫程序,无论大小,总体来说可以分成三个步骤,分别是: </p> <ol> <li class="" style="font-size:11pt;color:#494949;"> 网络请求:模拟浏览器的行为从网上抓取数据。 </li> <li class="" style="font-size:11pt;color:#494949;"> 数据解析:将请求下来的数据进行过滤,提取我们想要的数据。 </li> <li class="" style="font-size:11pt;color:#494949;"> 数据存储:将提取到的数据存储到硬盘或者内存中。比如用mysql数据库或者redis等。 </li> </ol> <p class="ql-long-26664262" style="font-size:11pt;color:#494949;"> 那么本课程也是按照这几个步骤循序渐进的进行讲解,带领学生完整的掌握每个步骤的技术。另外,因为爬虫的多样性,在爬取的过程中可能会发生被反爬、效率低下等。因此我们又增加了两个章节用来提高爬虫程序的灵活性,分别是: </p> <ol> <li class="" style="font-size:11pt;color:#494949;"> 爬虫进阶:包括IP代理,多线程爬虫,图形验证码识别、JS加密解密、动态网页爬虫、字体反爬识别等。 </li> <li class="" style="font-size:11pt;color:#494949;"> Scrapy和分布式爬虫:Scrapy框架、Scrapy-redis组件、分布式爬虫等。 </li> </ol> <p class="ql-long-26664262" style="font-size:11pt;color:#494949;"> 通过爬虫进阶的知识点我们能应付大量的反爬网站,而Scrapy框架作为一个专业的爬虫框架,使用他可以快速提高我们编写爬虫程序的效率和速度。另外如果一台机器不能满足你的需求,我们可以用分布式爬虫让多台机器帮助你快速爬取数据。 </p> <p style="font-size:11pt;color:#494949;">   </p> <p class="ql-long-26664262" style="font-size:11pt;color:#494949;"> 从基础爬虫到商业化应用爬虫,本套课程满足您的所有需求! </p> <p class="ql-long-26664262" style="font-size:11pt;color:#494949;"> <br /> </p> <p> <br /> </p> <p> <span style="font-size:14px;background-color:#FFFFFF;color:#337FE5;">【课程服务】</span> </p> <p> <span style="font-size:14px;">专属付费社群+定期答疑</span> </p> <p> <br /> </p> <p class="ql-long-24357476"> <span style="font-size:16px;"><br /> </span> </p> <p> <br /> </p> <p class="ql-long-24357476"> <span style="font-size:16px;"></span> </p>
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值