课程描述
本课程主要针对有一定python编程经验的研发人员，讲解python编写网络爬虫的相关知识，主要内容有爬虫的本质剖析，从页面中爬取数据的三种方法，如何缓存抓取数据以及提取数据，并行爬虫，如何抓取动态页面内容；与表单的交互；处理页面中的验证码；使用Scarpy编写爬虫；网站爬虫封禁的突破策略；抓取到的数据可视化分析；
本课程内容丰富，讲解由浅入深，并始终以一线开发经验贯穿始终。通过本课程的学习，可使得学员对Python爬虫开发有一个很好的掌握和了解。
课程内容：
1、网络爬虫技术入门
“爬虫”的概念和本质
网络爬虫的实用价值
网络爬虫的法律约束
为什么选择Python做爬虫开发语言
Python的包管理工具-pip
编写一个网络爬虫
robots.txt介绍
爬虫一：网页下载
【案例】网站地图爬虫
【案例】遍历Id爬虫
【案例】链接爬虫
2、网页内容(数据)的抓取
网页的分析
FireBug Lite等工具
爬虫技术三种网页内容抓取方式
正则表达式
Beautiful Soup
Lxml：CSS选择器抓取
【讨论】三种抓取方式的优劣对比
【案例】为一个爬虫增加抓取功能
3、数据库缓存爬虫下载缓存
爬虫添加下载缓存的必要性
为链接爬虫添加缓存支持
缓存文件
文件系统限制
文件缓存实现(包含异常处理)
文件缓存测试的执行
使用zlib压缩缓存
清理过期文件缓存数据
文件缓存缓存缺陷
【案例】文件缓存实现
爬虫开发缓存选择NoSQL的理由
典型的NoSQL-MongoDB技术概述
MongoDB缓存实现
MongoDB数据压缩
MongoDB缓存测试
【案例】MongoDB缓存实现
4、100万个网页以上规模的网站数据抓取-并行爬虫
常规串行爬虫的特性
爬虫线程和进程的工作原理
多线程爬虫
多进程爬虫
性能分析
【案例】多线程爬虫
【案例】多进程爬虫
5、JavaScript动态页面的爬虫技术
动态页面示例
对动态网页执行逆向工程
分析页面加载数据的过程
python的Ajax调用
边界优化
【案例】动态网页的逆向
使用渲染引擎处理动态页面
渲染引擎处理原理
包含WebKit的Python库：PyQt
包含WebKit的Python库：PySide
使用WebKit编程执行动态的JavaScript
使用WebKit与网站交互-自定义渲染规则
浏览器自动化API接口提供者-Selenium
【案例】PySide执行动态的JavaScript
【案例】Selenium运行动态JavaScript
6、表单交互
登陆表单
GET/POST
URLencode/URLdecode
header & cookie
如何突破使用cookie阻挡的网站
网络机器人实现(网站内容自动更新功能)
高级Mechanize模块实现自动化表单处理
【案例】表单登陆
7、CAPTCHA(登陆验证码)处理
注册账号的关键控制环节
加载验证码图像
常规验证码图像处理-OCR(光学字符识别)
Tesseract OCR引擎
阀值化
OCR优化
【案例】OCR验证码图像处理
非常规的复杂验证码图像处理-9KW
复杂验证码图像处理服务概述
9KW入门
集成注册功能
【案例】调用9KW服务进行验证码图像处理
8、网络爬虫框架Scrapy(快速编写spider爬虫)
Scrapy安装
Scrapy框架的开发与使用
Scrapy框架爬虫spider介绍
爬虫项目默认结构生成-startproject
爬取内容模型设定
spider爬虫创建
如何使用shell 命令抓取
spider爬虫的中断与恢复
【案例】使用Scrapy框架快速编写爬虫
基于Scrapy开发的可视化爬虫工具-Portia
virtualenv 环境下的-Portia安装过程
Portia的标注
优化Portia生成的爬虫
【案例】使用Portia生成可视化爬虫
使用Scrapely实现自动化抓取
9、爬虫封禁的突破
robots.txt剖析
user agent
referrer
爬虫封禁的突破技巧
【爬虫实战一】Google搜索引擎
【爬虫实战二】宝马官网-抓取信息
10、爬行数据整理和可视化数据分析
CSV显示
Matplotlib的图形化显示
iPython和pylad
图型的初级绘制
默认配置的详解
线条的控制
图片边界
记号
移动脊柱
图例添加
注释特殊点
图像子图坐标轴和记号
其他类型的图
散点图／条形图／等高线图
灰度图／饼状图／量场图
网格／多重网格
极轴图／3D图
JS可视化图表highcharts.js
曲线图
区域图
饼图
散点图
气泡图
动态图表
组合图表
3D图
测量图
热点图
树状图
【爬虫数据可视化显示】某商城商品销售价格信息
11、复习本课程所有的内容
总结 讨论和完整案例展
扫一扫
1224
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
