python_爬虫 00 目录

1. 第一章：网络请求

1-爬虫前奏

2-HTTP协议

3-urllib库

4-requests库

2. 第二章：数据提取

1-xpath语法与lxml库
2-BeautifulSoup4库
3-正则表达式和re模块

3. 第三章：数据存储

1-json文件处理
2-csv文件处理
3-excel文件处理
4-MySQL数据库
5-MongoDB数据库

4. 第四章：爬虫进阶

1-多线程爬虫
2-动态网页爬虫
3-图形验证码识别

5. 第五章：Scrapy框架

1-框架架构
2-快速入门
3-CrawlSpider
4-ScrapyShell
5-Request和Response对象
6-下载文件和图片
7-下载中间件
8-settings配置信息
9-Scrapy爬虫实战

6. 第六章：Scrapy-Redis分布式组件

1-redis数据库介绍
2-Scrapy-Redis组件介绍
3-搜房网分布式爬虫。

7、补充：

1-feed exports

2-twisted（adbapi）： 9-Scrapy爬虫实战 实战2 用到（待整理）

3-有限爬取深度实例 ： Scrapy爬虫(五)：有限爬取深度实例 （待整理）

---

python_爬虫 app数据抓取

---

第1章 课程介绍

第2章 windows下搭建开发环境

第3章 爬虫必备利器、抓包工具的使用

第4章 app应用数据抓取入门

第5章 移动端自动化控制工具详讲

第6章 app应用数据抓取实战进阶

第7章 打造多任务端app应用数据抓取系统

第8章 总结

第1章 课程介绍

        1.1 导学

第2章 windows下搭建开发环境

        2-1 夜神模拟器安装&介绍

        2-2 夜神模拟器设置介绍&在夜神模拟器内部安装App

        2-3 介绍genymotion和模拟器的安装(选择观看)

        2-4 fiddler软件介绍&下载&安装&软件设置

        2-5 mitmproxy介绍&安装&如何在linux操作系统中安装

        2-6 mitmproxy在Linux操作系统中的使用

        2-7 packet capture开头，抓包工具介绍，安装，使用

        2-8 介绍appium环境搭建的两种方法

        2-9 安装docker以及docker运行

第3章 爬虫必备利器、抓包工具的使用 

        3-1 fiddler抓包工具介绍，file&&edit功能使用

        3-2 tooles功能使用

        3-3 rules功能使用&工具栏详讲

        3-4 会话列表-请求头、响应头介绍

        3-5 请求前断点设置，响应后断点，命令行请求前后断点设置，网页重定向

        3-6 手机安装证书，设置fiddler抓取移动端数据包

        3-7 mitmproxy软件移动设备安装证书、移动设备抓包

        3-8 mitmproxy数据包过滤

        3-9 mitmdump详讲

第4章 app应用数据抓取入门

        抓取某app脚本

第5章 移动端自动化控制工具详讲 

        5-1 安装JDK环境

        5-2 安装sdk工具包

        5-3 adb工具详讲1-3

        5-6 sdk下uiautomatorviewer工具使用

        5-7 appium介绍

        5-8 inspector介绍

        5-9 inspector录制功能

        5-10 登录考研帮app并实现模拟滑动操作 (2)

第6章 app应用数据抓取实战进阶

        6-1 DY数据抓取实战介绍

        6-2 解析DY分享页面数据1

        6-3 解析DY分享页面数据2

        6-4 解析DY分享页面数据3

        6-5 DY分享id存储数据库逻辑代码编写1

        6-6 DY分享id存储数据库逻辑代码编写2

        6-7 ssl pining技术分析与xponsed框架安装

        6-8 DY分析接口数据分析

        6-9 DY appium模拟滑动操作1

        6-10 DY appium模拟滑动操作2

        6-11 多设备端并发抓取DY粉丝数据

        6-12 DY视频抓取&signarure加密字段破解-1

        6-13 DY视频抓取&signarure加密字段破解-2

        6-14 DY视频抓取&signarure加密字段破解-3