第零章 爬虫课开办典礼
1. 上课时间
我们的上课时间是每周一三五晚上20:00-22:00 课间休息10分钟。
班主任老师:点点 QQ 2242268290
上课老师: Jerry QQ 192149641
课程答疑老师:Jerry Amy 居然 Cheney
课外支持老师:点点 夏夏 恙恙 在群里备注的老师
所有工作人员可以答疑的时间是:13:00-23:00 其中17:00-18:30 是午饭和休息时间
如果有课程调整,群里会提前通知
如果假期放假,群里也会提前通知。
2. 学习内容
- 爬虫核心 爬虫的前导知识 爬虫网络模块(更新案例) 数据解析 两周左右
- 爬虫进阶 selenium(12306案例) 多线程
- 爬虫框架 Scrapy(重点)
- 数据存储 redis mongodb(重点)
- 移动数据 前导知识(用到一些相关的安卓知识,如MainActivity ListView Textview) 转包工具fiddler 抓取移动端的数据
- 反爬技术 字体反爬 打码平台 JS逆向
3. 学习方法
- 主要打老师的课堂代码,可以对照老师的代码来查找错误,用分屏的方式(右键文件名>点Split Vertically 可以左右分屏或者上下分屏,这样方便对照。)第一遍打老师的代码,第二遍脱离老师的代码,第三遍可以按照自己的方式去练习。
- 有时间尽量看直播,没有时间可以看录播,尽量一遍成,不要注意力分散,好多遍还不行,打击信心。
- 录播在学习群公告里有百度网盘链接
- 保证出勤率,有学勤福利会抽奖一些小礼物
- 写博客来梳理知识内容
- 画思维导图
- 思维+练习+练习+练习
- 0到1是最难的,1-2,2-3就简单了
- 写博客的目的1是梳理知识,2是博客还可以作为未来的参考资料,3还可以作为应聘时的一个铺垫,4为以后做一些积累,也是简历的一个亮点, 例如:CSDN的 鸿洋 , 因为他的博客搜索率高,ip被打出来了,后来被百度联系了。任玉刚,也是ip被打出来了。敖丙。大家有意识的往这个方向靠拢。在排版上都要养成整洁的习惯,开始写老师讲的内容,后来可以写自己的内容。
4. 上课须知
- 保证上课的同时可以提问
- 同学有事要提前走要跟老师打个招呼
- 学习权限(账号)在进阶版里有一个自动的考勤,如果缺课太多,账号就会受到限制。
- 如果需要请假,可以找班主任,让班主任替你做技术处理,回头你看录播补上缺课的内容。
5. 上课时间
这个时间大概三个月
6. 接单问题
学完课程后先忍一忍,不要着急接单,要把基本功练好。尽力的提升自己的技术能力。如果你的技术可以,老师也会喜欢找你。我们学的爬虫并不是以接单为主的,而是为后面的数据分析,乃至机器学习,最终识归属于机器学习的。不要因为接单而影响你的学习,这是次要的。尽量不要接难度系数太大的单子,难度还行的,几天可以搞定的。打铁还需自身硬。重要的事情说三遍:先学技术!先学技术!先学技术!
7. 关于反爬虫
爬虫和反爬虫的关系就像病毒和杀毒软件的关系
8. 学习心态
要注意积累,不要心急,2,3,4年级的内容没有积累,就问5年级的问题,这很难。
不要和别人比较,别人学的再好,我不羡慕,当你积累到一定程度,编程就是这种由量变到质变,你会发现,最后无师自通了。一定要踏踏实实的把老师讲给你的知识牢固掌握了。