爬虫第1课爬虫前导知识上

学习内容
知识点+案例为驱动的
爬虫核心 爬虫的前导知识 爬虫网络请求模块 数据解析

爬虫进阶 selenium【web的自动化测试工具-可以解决爬虫中很多特殊问题（ajax是前端的技术）】，多线程 队列 多线程的一种模式

Scrapy 爬虫框架 更快更强大 分布式爬虫(1 了解分布式爬虫的流程 面试 2 如何把一个普通的爬虫程序改写成分布式爬虫)

数据存储 csv redis mongodb 面试

移动开发 前导知识（mainactivity textview listview android2个月）fiddler抓包工具 数据抓取

反反爬技术： 字体反爬 代理池 IP代理 各种复杂验证码(行为验证码 tesseract 打码平台) JS反爬(也叫JS逆向：难度比较大 学习成本比较高 js语法基础 和 常见的JS加密算法的掌握 和 调试工具的使用)

自学的 (个人的能力 时间 精力)网络编程 多进程 协程 redis/mysql android基础(1.5) js语言(1) 加密算法
课程资料
视频 + 笔记 + 源码(复习 + 排错)
压箱底(学习方法 *)
基础 扎实

？？？？

报错搜集文档(这个错误产生的原因是什么？解决方式是什么？归类)
解决方案的总结(套路)

爬虫前导知识

爬虫简介

通讯协议

端口

我们想要进行数据通讯分几步?
• 1. 找到对方ip
• 2. 数据要发送到对方指定的应用