一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。
三、入门学习视频
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
但是你真的能进去吗?我相信你们是因为我文章的标题进来的,大多数可能出于好奇,甚至都不懂爬虫,心理想:我编个程,怎么就进监狱了,有很多看博客的都是这个心里
那接下来我们从技术分析一下,你至少要写成什么样的爬虫,才有可能爬进监狱
先从最基础的程序设计说起:
- requests请求
- User-Agent伪装
- re/xpath解析数据
- mysql/mongo存储
有了这些,恭喜你有了半只脚踏进了监狱,哈哈哈放心早着呢
进阶:
- Selenium+Chrome/Firefox
- 多线程/多进程爬虫
- Proxies代理
- 控制台抓包
- js逆向/js分析改写
- ajax请求破解
- 分布式爬虫
进阶已完成,我们更近了一步
高级进阶:
- scrapy框架
- 周期性计划任务
- 机器视觉与tesseract
- Fiddler抓包工具
- 移动端app数据抓取
高级进阶后,已经没什么可以阻挡你的脚步了,兄弟,Prison离你更近了哈哈哈
真的吗?
当然不可能,只会这点只能说你很厉害了,真正足以让你进到监狱的是Robots协议,还有一些不可控制的东西,就像是我们上面说的,你把人家服务器搞崩了,网站也搞的运营不起来了,以及你把人家的私有的数据爬下来卖给了他人等等,这些如果你违反了,你必然会受到惩罚,所以,不要不要不要去做死,如果你觉得你足够幸运,我祝你Bon voyage,Safe and sound
敲黑板划重点: 接下来给大家总结了一下我今年面试的题:
1、Python中__init__ 和__new__的区别
2、整个爬虫的工作流程(如何运作)
3、http的响应码(最好是记住200到500状态每个的前三个)
4、进程、线程、协程的区别
5、多线程和多进程介绍一下
6、如何实现多进程和多线程
7、python并发和并行
8、redis数据库的事务
9、redis的五大数据类型
10、redis的有序集合
11、mysql 数据库的索引
12、mysql数据库中如何给用户权限
13、Linux查看磁盘命令以及磁盘占用命令
14、Linux查看内容使用情况命令
15、命令行如何实现对一个文件的去重
16、Python的内存管理机制
17、Python的可变数据类型和不可变数据类型
18、Python 中类方法、类实例方法、静态方法有何区别?
19、map 函数
20、解释一下什么是闭包?
21、函数装饰器的理解
22、Python生成器的原理
23、Python 的魔法方法
24、正则里match 与search 的区别?
25、url 的形式?
26、varchar 与char 的区别?
27、常见的反爬虫和应对方法?
28、验证码的解决?
29、描述下scrapy 框架运行的机制?
30、scrapy五大核心组件介绍一下,分别是做什么用
31、怎么实现栈
32、深拷贝,浅拷贝的区别?
33、Linux查看某个进程占用的端口号
34、有一个数组,取出第三大的数字,要求时间复杂度为O(n),请问如何实现
35、目标:对指定网站进行数据抓取
要求:撰写爬虫策略调研报告
1、列明遇到困难,解决问题方法、策略或建议
2、时间1小时。
内容:
网址:https://www.zcygov.cn,该网站浙江省和重庆市商品信息(可以测试某类商品)。
抓取信息如下:
36、这个是一家公司给我的爬虫任务,算是一个测试吧
下面的是一家公司的笔试题,但是我没做,因为我是实习生,肯定是做的话得费点力
**37、输入一哥字符串,返回字符串倒序后的结果
(1)Python所有方向的学习路线(新版)
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
(2)Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
(3)100多个练手项目
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!