python网络爬虫从入门到精通吕云翔_Python 网络爬虫从入门到精通

章 Python与网络爬虫11.1 Python语言1 1.1.1 什么是Python1 1.1.2 Python的应用现状21.2 Python的安装与开发环境配置3 1.2.1 在Windows上安装3 1.2.2

章 Python与网络爬虫11.1 Python语言1 1.1.1 什么是Python1 1.1.2 Python的应用现状21.2 Python的安装与开发环境配置3 1.2.1 在Windows上安装3 1.2.2 在Ubuntu和Mac OS上安装4 1.2.3 PyCharm的使用5 1.2.4 Jupyter Notebook91.3 Python基本语法12 1.3.1 HelloWorld与数据类型12 1.3.2 逻辑语句19 1.3.3 Python中的函数与类22 1.3.4 Python从0到1251.4 互联网、HTTP与HTML25 1.4.1 互联网与HTTP25 1.4.2 HTML271.5 Hello, Spider!29 1.5.1 个爬虫程序29 1.5.2 对爬虫的思考311.6 调研网站33 1.6.1 网站的robots.txt与Sitemap33 1.6.2 查看网站所用技术36 1.6.3 查看网站所有者信息37 1.6.4 使用开发者工具检查网页391.7 本章小结42第2章 数据采集432.1 从抓取开始432.2 正则表达式44 2.2.1 初见正则表达式44 2.2.2 正则表达式的简单使用462.3 BeautifulSoup49 2.3.1 安装与上手49 2.3.2 BeautifulSoup的基本使用522.4 XPath与lxml55 2.4.1 XPath55 2.4.2 lxml与XPath的使用572.5 遍历页面59 2.5.1 抓取下一个页面59 2.5.2 完成爬虫602.6 使用API63 2.6.1 API简介63 2.6.2 API使用示例652.7 本章小结68第3章 文件与数据存储693.1 Python中的文件69 3.1.1 基本的文件读写69 3.1.2 序列化723.2 字符串723.3 Python与图片74 3.3.1 PIL与Pillow74 3.3.2 Python与OpenCV简介763.4 CSV文件77 3.4.1 CSV简介77 3.4.2 CSV的读写773.5 使用数据库79 3.5.1 使用MySQL80 3.5.2 使用SQLite381 3.5.3 使用SQLAlchemy83 3.5.4 使用Redis853.6 其他类型的文档863.7 本章小结90第4章 JavaScript与动态内容914.1 JavaScript与AJAX技术91 4.1.1 JavaScript语言91 4.1.2 AJAX954.2 抓取AJAX数据96 4.2.1 分析数据96 4.2.2 数据提取1004.3 抓取动态内容107 4.3.1 动态渲染页面107 4.3.2 使用Selenium107 4.3.3 PyV8与Splash1144.4 本章小结118第5章 表单与模拟登录1195.1 表单119 5.1.1 表单与POST119 5.1.2 POST发送表单数据1215.2 Cookie124 5.2.1 什么是Cookie124 5.2.2 在Python中使用Cookie1255.3 模拟登录网站128 5.3.1 分析网站128 5.3.2 通过Cookie模拟登录1295.4 验证码133 5.4.1 图片验证码133 5.4.2 滑动验证1345.5 本章小结139第6章 数据的进一步处理1406.1 Python与文本分析140 6.1.1 什么是文本分析140 6.1.2 jieba与SnowNLP141 6.1.3 NLTK145 6.1.4 文本分类与聚类1496.2 数据处理与科学计算150 6.2.1 从MATLAB到Python150 6.2.2 NumPy151 6.2.3 Pandas156 6.2.4 Matplotlib163 6.2.5 SciPy与SymPy1676.3 本章小结167第7章 更灵活的爬虫1687.1 更灵活的爬虫—以微信数据抓取为例168 7.1.1 用Selenium抓取Web微信信息168 7.1.2 基于Python的微信API工具1727.2 更多样的爬虫175 7.2.1 在BeautifulSoup和XPath之外175 7.2.2 在线爬虫应用平台179 7.2.3 使用urllib1817.3 爬虫的部署和管理190 7.3.1 配置远程主机190 7.3.2 编写本地爬虫192 7.3.3 部署爬虫198 7.3.4 查看运行结果199 7.3.5 使用爬虫管理框架2007.4 本章小结203第8章 浏览器模拟与网站测试2048.1 关于测试204 8.1.1 什么是测试204 8.1.2 什么是TDD2058.2 Python的单元测试205 8.2.1 使用unittest205 8.2.2 其他方法2088.3 使用Python爬虫测试网站2098.4 使用Selenium测试212 8.4.1 Selenium测试常用的网站交互212 8.4.2 结合Selenium进行单元测试2148.5 本章小结215第9章 更强大的爬虫2169.1 爬虫框架216 9.1.1 Scrapy是什么216 9.1.2 Scrapy安装与入门218 9.1.3 编写Scrapy爬虫221 9.1.4 其他爬虫框架2239.2 网站反爬虫224 9.2.1 反爬虫的策略224 9.2.2 伪装headers225 9.2.3 使用代理228 9.2.4 访问频率2329.3 多进程与分布式233 9.3.1 多进程编程与爬虫抓取233 9.3.2 分布式爬虫2359.4 本章小结2350章 爬虫实践：火车票余票实时提醒23610.1 程序设计236 10.1.1 分析网页236 10.1.2 理解返回的JSON格式数据的意义238 10.1.3 微信消息推送238 10.1.4 运行并查看微信消息24310.2 本章小结2441章 爬虫实践：爬取二手房数据并绘制热力图24511.1 数据抓取245 11.1.1 分析网页245 11.1.2 地址转换成经纬度247 11.1.3 编写代码248 11.1.4 数据下载结果25211.2 绘制热力图25211.3 本章小结2592章 爬