第 1篇基础知识
第 1章开发环境配置 ................................. 2
1.1 安装官方的 Python运行环境 .........................2
1.2 配置 PATH环境变量.....................................5
1.3 安装 Anaconda Python开发环境 ...................6
1.4 安装 PyCharm ...............................................7
1.5 配置 PyCharm ...............................................8
1.6 小结 ........................................................... 10
第 2章爬虫基础.......................................11
2.1 HTTP基础...................................................... 11
2.1.1 URI和 URL ........................................ 11
2.1.2 超文本 ................................................ 12
2.1.3 HTTP与 HTTPS ................................. 12
2.1.4 HTTP的请求过程 ............................... 15
2.1.5 请求 .................................................... 17
2.1.6 响应 .................................................... 20
2.2 网页基础 ........................................................ 23
2.2.1 HTML ................................................. 23
2.2.2 CSS .................................................... 24
2.2.3 CSS选择器......................................... 25
2.2.4 JavaScript ........................................... 27
2.3 爬虫的基本原理 .............................................. 27
2.3.1 爬虫的分类 ......................................... 27
2.3.2 爬虫抓取数据的方式和手段 ................. 28
2.4 Session与 Cookie ........................................... 28
2.4.1 静态页面和动态页面 ........................... 29
2.4.2 无状态 HTTP与 Cookie ...................... 30
2.4.3 利用 Session和 Cookie保持状态 ......... 30
2.4.4 查看网站的 Cookie .............................. 31
2.4.5 HTTP状态何时会失效 ........................ 32
CONTENTS 目 录
2.5 实战案例：抓取所有的网络资源 ..................... 33
2.6 实战案例：抓取博客文章列表 ......................... 37
2.7 小结 ............................................................... 40
第 2篇网络库
第 3章网络库 urllib ................................. 42
3.1 urllib简介 ...................................................... 42
3.2 发送请求与获得响应 ....................................... 43
3.2.1 用 urlopen函数发送 HTTP GET请求 .................................................... 43
3.2.2 用 urlopen函数发送 HTTP POST请求 .................................................... 44
3.2.3 请求超时 ............................................. 45
3.2.4 设置 HTTP请求头 .............................. 46
3.2.5 设置中文 HTTP请求头 ....................... 48
3.2.6 请求基础验证页面 ............................... 50
3.2.7 搭建代理与使用代理 ........................... 54
3.2.8 读取和设置 Cookie .............................. 56
3.3 异常处理 ........................................................ 60
3.3.1 URLError ............................................60
3.3.2 HTTPError ..........................................61
3.4 解析链接 ........................................................ 62
3.4.1 拆分与合并 URL(urlparse与 urlunparse) ....................... 62
3.4.2 另一种拆分与合并 URL的方式(urlsplit与 urlunsplit) .......................... 63
3.4.3 连接 URL(urljoin) ............................. 65
3.4.4 URL编码(urlencode)......................... 65
3.4.5 编码与解码(quote与 unquote)........... 66
3.4.6 参数转换(parse_qs与 parse_qsl) ........ 66
3.5 Robots协议 .................................................... 67
3.5.1 Robots协议简介 ................................. 67
3.5.2 分析 Robots协议 ................................ 68
3.6 小结 ............................................................... 69
第 4章网络库 urllib3 ............................... 70
4.1 urllib3简介 .................................................... 70
4.2 urllib3模块 .................................................... 70
4.3 发送 HTTP GET请求 ...................................... 71
4.4 发送 HTTP POST请求 .................................... 72
4.5 HTTP请求头 .................................................. 74
4.6 HTTP响应头 .................................................. 76
4.7 上传文件 ........................................................ 76
4.8 超时 ............................................................... 78
4.9 小结 ............................................................... 79
第 5章网络库 requests ........................... 80
5.1 基本用法 ........................................................ 80
5.1.1 requests的 HelloWorld ........................ 81
5.1.2 GET请求 ............................................ 81
5.1.3 添加 HTTP请求头 .............................. 82
5.1.4 抓取二进制数据 .................................. 83
5.1.5 POST请求 .......................................... 84
5.1.6 响应数据 ............................................. 85
5.2 高级用法 ........................................................ 87
5.2.1 上传文件 ............................................. 88
5.2.2 处理 Cookie ........................................ 89
5.2.3 使用同一个会话(Session) .................. 90
5.2.4 SSL证书验证...................................... 91
5.2.5 使用代理 ............................................. 94
5.2.6 超时 .................................................... 95
5.2.7 身份验证 ............................................. 97
5.2.8 将请求打包 ......................................... 97
5.3 小结 ............................................................... 98
第 6章 Twisted网络框架.......................... 99
6.1 异步编程模型 ................................................. 99
6.2 Reactor(反应堆)模式 ................................. 101
6.3 HelloWorld，Twisted框架 ............................ 101
6.4 用 Twisted实现时间戳客户端........................ 103
6.5 用 Twisted实现时间戳服务端........................ 104
6.6 小结 ............................................................. 105
第 3篇解析库
第 7章正则表达式 ................................. 108
7.1 使用正则表达式 ............................................ 108
7.1.1 使用 match方法匹配字符串 .............. 108
7.1.2 使用 search方法在一个字符串中查找模式 ........................................... 109
7.1.3 匹配多个字符串 ................................ 110
7.1.4 匹配任何单个字符 ............................. 111
7.1.5 使用字符集 ....................................... 112
7.1.6 重复、可选和特殊字符 ...................... 114
7.1.7 分组 .................................................. 117
7.1.8 匹配字符串的起始和结尾以及单词边界 ........................................... 118
7.1.9 使用 findall和 finditer查找每一次出现的位置 ............................. 120
7.1.10 用 sub和 subn搜索与替换............... 121
7.1.11 使用 split分隔字符串 ...................... 122
7.2 一些常用的正则表达式 ................................. 123
7.3 项目实战：抓取小说目录和全文 ................... 124
7.4 项目实战：抓取猫眼电影 Top100榜单 .......... 128
7.5 项目实战：抓取糗事百科网的段子 ................ 133
7.6 小结 ............................................................. 136
第 8章 lxml与 XPath ............................. 137
8.1 lxml基础...................................................... 137
8.1.1 安装 lxml .......................................... 137
8.1.2 操作 XML ......................................... 138
8.1.3 操作 HTML ....................................... 140
8.2 XPath ........................................................... 141
8.2.1 XPath概述 ........................................ 141
8.2.2 使用 XPath ........................................ 141
8.2.3 选取所有节点 .................................... 143
8.2.4 选取子节点 ....................................... 145
8.2.5 选取父节点 ....................................... 146
8.2.6 属性匹配与获取 ................................ 146
8.2.7 多属性匹配 ....................................... 147
8.2.8 按序选择节点 .................................... 148
8.2.9 节点轴选择 ....................................... 149
8.2.10 在 Chrome中自动获得 XPath代码 .... 151
8.2.11 使用 Chrome验证 XPath ................. 153
8.3 项目实战：抓取豆瓣 Top250图书榜单 .......... 154
8.4 项目实战：抓取起点中文网的小说信息 ......... 158
8.5 小结 ............................................................. 161
第 9章 Beautiful Soup库....................... 162
9.1 Beautiful Soup简介 ...................................... 162
9.2 Beautiful Soup基础 ...................................... 162
9.2.1 安装 Beautiful Soup .......................... 163
9.2.2 选择解析器 ....................................... 164
9.2.3 编写第一个 Beautiful Soup程序 ........ 164
9.3 节点选择器 ................................................... 165
9.3.1 选择节点 ........................................... 165
9.3.2 嵌套选择节点 .................................... 167
9.3.3 选择子节点 ....................................... 168
9.3.4 选择父节点 ....................................... 171
9.3.5 选择兄弟节点 .................................... 172
9.4 方法选择器 ................................................... 174
9.4.1 find_all方法 ..................................... 174
9.4.2 find方法 ........................................... 177
9.5 CSS选择器 ................................................... 178
9.5.1 基本用法 ........................................... 179
9.5.2 嵌套选择节点 .................................... 180
9.5.3 获取属性值与文本 ............................. 181
9.5.4 通过浏览器获取 CSS选择器代码....... 182
9.6 实战案例：抓取租房信息 .............................. 184
9.7 实战案例：抓取酷狗网络红歌榜 ................... 188
9.8 小结 ............................................................. 191
第 10章 pyquery库 ............................... 192
10.1 pyquery简介 ............................................... 192
10.2 pyquery基础 ............................................... 192
10.2.1 安装 pyquery ................................... 193
10.2.2 pyquery的基本用法 ........................ 193
10.3 CSS选择器 ................................................. 194
10.4 查找节点..................................................... 196
10.4.1 查找子节点 ..................................... 196
10.4.2 查找父节点 ..................................... 197
10.4.3 查找兄弟节点 .................................. 198
10.4.4 获取节点信息 .................................. 199
10.5 修改节点..................................................... 203
10.5.1 添加和移除节点的样式(addClass和 removeClass)............... 204
10.5.2 修改节点属性和文本内容(attr、removeAttr、text和 html)...... 205
10.5.3 删除节点(remove) ......................... 207
10.6 伪类选择器 ................................................. 208
10.7 项目实战：抓取当当图书排行榜.................. 210
10.8 项目实战：抓取京东商城手机销售排行榜.... 213
10.9 小结............................................................ 219
第 4篇数据存储
第 11章文件存储 .................................. 222
11.1 打开文件 ..................................................... 222
11.2 操作文件的基本方法 ................................... 224
11.2.1 读文件和写文件 .............................. 224
11.2.2 读行和写行 ..................................... 226
11.3 使用 FileInput对象读取文件 ....................... 227
11.4 处理 XML格式的数据 ................................. 228
11.4.1 读取与搜索 XML文件 ..................... 228
11.4.2 字典转换为 XML字符串 ................. 229
11.4.3 XML字符串转换为字典 .................. 231
11.5 处理 JSON格式的数据................................ 232
11.5.1 JSON字符串与字典互相转换 .......... 233
11.5.2 将 JSON字符串转换为类实例 .......... 234
11.5.3 将类实例转换为 JSON字符串 .......... 236
11.5.4 类实例列表与 JSON字符串互相转换 ................................................ 236
11.6 将 JSON字符串转换为 XML字符串 ............ 237
11.7 CSV文件存储 ............................................. 238
11.7.1 写入 CSV文件 ................................ 238
11.7.2 读取 CSV文件 ................................ 241
11.8 小结 ............................................................ 241
第 12章数据库存储............................... 242
12.1 SQLite数据库 ............................................. 242
12.1.1 管理 SQLite数据库 ......................... 243
12.1.2 用 Python操作 SQLite数据库 ......... 245
12.2 MySQL数据库 ........................................... 247
12.2.1 安装 MySQL ................................... 247
12.2.2 在 Python中使用 MySQL ................ 250
12.3 非关系型数据库 .......................................... 253
12.3.1 NoSQL简介.................................... 253
12.3.2 MongoDB数据库 ........................... 253
12.3.3 pymongo模块 ................................. 255
12.4 项目实战：抓取豆瓣音乐排行榜.................. 256
12.5 项目实战：抓取豆瓣电影排行榜.................. 260
12.6 小结............................................................ 264
第 5篇爬虫高级应用
第 13章抓取异步数据 ........................... 266
13.1 异步加载与 AJAX ....................................... 266
13.2 基本原理..................................................... 267
13.3 逆向工程..................................................... 270
13.4 提取结果..................................................... 274
13.5 项目实战：支持搜索功能的图片爬虫 ........... 274
13.6 项目实战：抓取京东图书评价 ..................... 279
13.7 小结............................................................ 284
第 14章可见即可爬：Selenium .............. 285
14.1 安装 Selenium ............................................. 286
14.2 安装 WebDriver .......................................... 286
14.2.1 安装 ChromeDriver.......................... 287
14.2.2 装 Edge WebDriver .......................... 288
14.2.3 安装其他浏览器的 WebDriver .......... 289
14.3 Selenium的基本使用方法 ........................... 289
14.4 查找节点..................................................... 293
14.4.1 查找单个节点 .................................. 293
14.4.2 查找多个节点 .................................. 295
14.5 节点交互..................................................... 297
14.6 动作链 ........................................................ 298
14.7 执行 JavaScript代码 ................................... 301
14.8 获取节点信息 .............................................. 302
14.9 管理 Cookies ............................................... 303
14.10 改变节点的属性值 ..................................... 304
14.11 项目实战：抓取 QQ空间说说的内容 ......... 306
14.12 小结 .......................................................... 308
第 15章基于 Splash的爬虫 ................... 309
15.1 Splash基础 ................................................. 309
15.1.1 Splash功能简介 .............................. 309
15.1.2 安装 Docker .................................... 310
15.1.3 安装 Splash ..................................... 310
15.2 Splash Lua脚本 .......................................... 312
15.2.1 第一个 Lua脚本 .............................. 312
15.2.2 异步处理 ......................................... 313
15.2.3 Splash对象属性 .............................. 314
15.2.4 go方法 ........................................... 318
15.2.5 wait方法 ......................................... 319
15.2.6 jsfunc方法 ...................................... 320
15.2.7 evaljs方法 ...................................... 320
15.2.8 runjs方法 ....................................... 320
15.2.9 autoload方法 .................................. 321
15.2.10 call_later方法 ............................... 322
15.2.11 http_get方法 ................................. 323
15.2.12 http_post方法 ............................... 324
15.2.13 set_content方法 ............................ 325
15.2.14 html方法 ...................................... 325
15.2.15 png方法 ........................................ 326
15.2.16 jpeg方法 ....................................... 326
15.2.17 har方法 ........................................ 326
15.2.18 其他方法 ....................................... 327
15.3 使用 CSS选择器 ......................................... 331
15.3.1 select方法 ...................................... 331
15.3.2 select_all方法 ................................. 332
15.4 模拟鼠标和键盘的动作................................ 333
15.5 Splash HTTP API ........................................ 334
15.6 项目实战：使用 Splash Lua抓取京东搜索结果 ..................................................... 338
15.7 小结............................................................ 340
第 16章抓取移动 App的数据 ................. 341
16.1 使用 Charles ............................................... 341
16.1.1 抓取 HTTP数据包 ........................... 342
16.1.2 安装 PC端证书 ............................... 344
16.1.3 在手机端安装证书 ........................... 345
16.1.4 监听 HTTPS数据包 ......................... 346
16.2 使用 mitmproxy .......................................... 348
16.2.1 安装 mitmproxy............................... 348
16.2.2 在 PC端安装 mitmproxy证书 .......... 349
16.2.3 在移动端安装 mitmproxy证书......... 352
16.2.4 mitmproxy有哪些功能 .................... 353
16.2.5 设置手机的代理 .............................. 353
16.2.6 用 mitmproxy监听 App的请求与响应数据 ......................................... 354
16.2.7 使用 mitmproxy编辑请求信息......... 356
16.2.8 mitmdump与 Python对接 ............... 357
16.2.9 使用 mitmweb监听请求与响应........ 361
16.3 项目实战：实时抓取“得到” App在线课程 .............................................. 363
16.4 小结............................................................ 367
第 17章使用 Appium在移动端抓取数据 ... 368
17.1 安装 Appium ............................................... 368
17.1.1 安装 Appium桌面端 ........................ 368
17.1.2 配置 Android开发环境 .................... 370
17.1.3 配置 iOS开发环境 .......................... 371
17.2 Appium的基本使用方法 ............................. 372
17.2.1 启动 Appium服务 ........................... 372
17.2.2 查找 Android App的 Package和入口 Activity................................... 374
17.2.3 控制 App ......................................... 376
17.3 使用 Python控制手机 App .......................... 379
17.4 AppiumPythonClient API............................. 380
17.4.1 初始化(Remote类)........................ 380
17.4.2 查找元素 ......................................... 381
17.4.3 单击元素 ......................................... 381
17.4.4 屏幕拖动 ......................................... 382
17.4.5 屏幕滑动 ......................................... 382
17.4.6 拖曳操作 ......................................... 383
17.4.7 文本输入 ......................................... 383
17.4.8 动作链 ............................................ 383
17.5 项目实战：利用 Appium抓取微信朋友圈信息 ............................................................ 384
17.6 小结............................................................ 388
第 18章多线程和多进程爬虫 .................. 389
18.1 线程与进程 ................................................. 389
18.1.1 进程 ................................................ 389
18.1.2 线程 ................................................ 390
18.2 Python与线程 ............................................. 390
18.2.1 使用单线程执行程序 ....................... 390
18.2.2 使用多线程执行程序 ....................... 391
18.2.3 为线程函数传递参数 ....................... 393
18.2.4 线程和锁 ......................................... 394
18.3 高级线程模块(threading) ........................... 395
18.3.1 Thread类与线程函数 ....................... 395
18.3.2 Thread类与线程对象 ....................... 396
18.3.3 从 Thread类继承 ............................. 398
18.4 线程同步..................................................... 399
18.4.1 线程锁 ............................................ 400
18.4.2 信号量 ............................................ 402
18.5 生产者—消费者问题与 queue模块 .............. 405
18.6 多进程 ........................................................ 407
18.7 项目实战：抓取豆瓣音乐 Top250排行榜(多线程版) .................................................. 408
18.8 项目实战：抓取豆瓣音乐 Top250排行榜(多进程版) .................................................. 411
18.9 小结............................................................ 412
第 19章网络爬虫框架：Scrapy.............. 413
19.1 Scrapy基础知识 ......................................... 413
19.1.1 Scrapy简介 ..................................... 413
19.1.2 Scrapy安装 ..................................... 414
19.1.3 Scrapy Shell抓取 Web资源 ............. 415
19.2 用 Scrapy编写网络爬虫 .............................. 417
19.2.1 创建和使用 Scrapy工程 .................. 417
19.2.2 在 PyCharm中使用 Scrapy .............. 419
19.2.3 在 PyCharm中使用扩展工具运行 Scrapy程序 ..................................... 421
19.2.4 使用 Scrapy抓取数据，并通过 XPath指定解析规则 .................................. 423
19.2.5 将抓取到的数据保存为多种格式的文件 ................................................ 424
19.2.6 使用 ItemLoader保存单条抓取的数据 ................................................ 426
19.2.7 使用 ItemLoader保存多条抓取的数据 ................................................ 428
19.2.8 抓取多个 URL ................................. 430
19.3 Scrapy的高级应用 ...................................... 431
19.3.1 处理登录页面 .................................... 431
19.3.2 处理带隐藏文本框的登录页面 ......... 434
19.3.3 通过 API抓取天气预报数据 ............ 436
19.3.4 从 CSV格式转换到 JSON格式 ........ 443
19.3.5 下载器中间件 .................................. 447
19.3.6 爬虫中间件 ..................................... 452
19.3.7 Item管道 ........................................ 455
19.3.8 通用爬虫 ......................................... 465
19.4 小结............................................................ 474
第 20章综合爬虫项目：可视化爬虫 ........ 475
20.1 项目简介..................................................... 475
20.2 主界面设计和实现 ....................................... 477
20.3 获取商品页数和每页商品数 ......................... 478
20.4 并发抓取商品列表 ....................................... 479
20.5 数据库操作类 .............................................. 481
20.6 情感分析..................................................... 484
20.7 抓取和分析商品评论数据 ............................ 485
20.8 可视化评论数据 .......................................... 486
20.9 小结............................................................ 488
885
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
