本文涵盖了Python爬虫面试中的必答题，包括爬虫模块、数据解析、反爬机制、Scrapy框架、数据清洗、分布式爬虫等知识点。涉及到的技术包括requests、BeautifulSoup、Scrapy、Selenium、异步爬虫、机器学习等。同时，还提及了git命令、代码审查和协同开发等相关实践问题。
第一部分 必答题
注意：第31题1分，其他题均每题3分。
1，了解哪些基于爬虫相关的模块？
-网络请求：urllib，requests，aiohttp-数据解析：re，xpath，bs4，pyquery-selenium- js逆向：pyexcJs
2，常见的数据解析方式？
- re、lxml、bs4
3，列举在爬虫过程中遇到的哪些比较难的反爬机制？
-动态加载的数据-动态变化的请求参数-js加密-代理- cookie
4，简述如何抓取动态加载数据？
-基于抓包工具进行全局搜索- 如果动态加载的数据是密文，则全局搜索是搜索不到
5，移动端数据如何抓取？
- fiddler，appnium，网络配置
6，抓取过哪些类型的数据，量级多少？
-电商，医疗器械，彩妆，新闻资讯，金融，体育赛事（参考hao123网站）-量级：- 最好不要超过100w。自己计算（页数，一页显示多少数据）
7，了解哪些爬虫框架？
- scrapy，pyspider
8，谈谈对scrapy的了解？
-功能：数据解析，持久化存储，深度爬取，分布式，关键件- 五大核心组件的作用和工作流程
9，如何解析出携带标签的局部页面数据？
最低0.47元/天 解锁文章
284
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
