某电商网站销售python图书_《PYTHON 3爬虫.数据清洗与可视化实战》零一//韩要宾//黄园园著【摘要书评在线阅读】-苏宁易购图书...-CSDN博客

10565677913.html

章 Python 基础 ..................................................................................... 11.1 安装Python 环境.............................................................................................................. 11.1.1 Python 3.6.2 安装与配置 .......................................................................................... 11.1.2 使用IDE 工具――PyCharm .................................................................................... 41.1.3 使用IDE 工具――Anaconda ................................................................................... 41.2 Python 操作入门 .............................................................................................................. 61.2.1 编写个Python 代码 .......................................................................................... 61.2.2 Python 基本操作 ....................................................................................................... 91.2.3 变量 .......................................................................................................................... 101.3 Python 数据类型 ............................................................................................................ 101.3.1 数字 .......................................................................................................................... 101.3.2 字符串 .......................................................................................................................111.3.3 列表 .......................................................................................................................... 131.3.4 元组 .......................................................................................................................... 141.3.5 集合 .......................................................................................................................... 151.3.6 字典 .......................................................................................................................... 151.4 Python 语句与函数 ......................................................................................................... 161.4.1 条件语句 .................................................................................................................. 161.4.2 循环语句 .................................................................................................................. 161.4.3 函数 .......................................................................................................................... 17第2 章写一个简单的爬虫 .......................................................................... 182.1 关于爬虫的合法性 ......................................................................................................... 182.2 了解网页 ......................................................................................................................... 202.2.1 认识网页结构 .......................................................................................................... 212.2.2 写一个简单的HTML ............................................................................................. 212.3 使用requests 库请求网站 .............................................................................................. 23Python 3 爬虫、数据清洗与可视化实战2.3.1 安装requests 库 ....................................................................................................... 232.3.2 爬虫的基本原理 ...................................................................................................... 252.3.3 使用GET 方式抓取数据 ........................................................................................ 262.3.4 使用POST 方式抓取数据 ...................................................................................... 272.4 使用Beautiful Soup 解析网页 ....................................................................................... 302.5 清洗和组织数据 ............................................................................................................. 342.6 爬虫攻防战 ..................................................................................................................... 35第3 章用API 爬取天气预报数据 ............................................................... 383.1 注册免费API 和阅读技术文档 ..................................................................................... 383.2 获取API 数据 ................................................................................................................ 403.3 存储数据到MongoDB ................................................................................................... 453.3.1 下载并安装MongoDB ............................................................................................ 453.3.2 在PyCharm 中安装Mongo Plugin ......................................................................... 463.3.3 将数据存入MongoDB ............................................................................................ 493.4 MongoDB 数据库查询 ................................................................................................... 52第4 章大型爬虫案例：抓取某电商网站的商品数据 ................................... 554.1 观察页面特征和解析数据 ............................................................................................. 554.2 工作流程分析 ................................................................................................................. 644.3 构建类目树 ..................................................................................................................... 654.4 获取产品列表 ................................................................................................................. 684.5 代码优化 ......................................................................................................................... 704.6 爬虫效率优化 ................................................................................................................. 744.7 容错处理 ......................................................................................................................... 77第5 章 Scrapy 爬虫 ................................................................................... 785.1 Scrapy 简介 ..................................................................................................................... 785.2 Scrapy 安装 ..................................................................................................................... 795.3 案例：用Scrapy 抓取股票行情 .................................................................................... 80第6 章 Selenium爬虫 ................................................................................ 886.1 Selenium 简介 ................................................................................................................. 886.2 案例：用Selenium 抓取电商网站数据 ........................................................................ 90第7 章数据库连接和查询 ........................................................................ 1007.1 使用PyMySQL ............................................................................................................ 1007.1.1 连接数据库 ............................................................................................................ 1007.1.2 案例：某电商网站女装行业TOP100 销量数据 ................................................. 1027.2 使用SQLAlchemy ........................................................................................................ 1047.2.1 SQLAlchemy 基本介绍 ......................................................................................... 1047.2.2 SQLAlchemy 基本语法 ......................................................................................... 1057.3 MongoDB ...................................................................................................................... 1077.3.1 MongoDB 基本语法 .............................................................................................. 1077.3.2 案例：在某电商网站搜索“连衣裙”的商品数据 ............................................ 107第8 章 NumPy ......................................................................................... 1098.1 NumPy 简介 .................................................................................................................. 1098.2 一维数组 ........................................................................................................................1108.2.1 数组与列表的异同 .................................................................................................1108.2.2 数组的创建 ............................................................................................................. 1118.3 多维数组 ........................................................................................................................ 1118.3.1 多维数组的高效性能 .............................................................................................1128.3.2 多维数组的索引与切片 .........................................................................................1138.3.3 多维数组的属性 .....................................................................................................1138.4 数组的运算 ....................................................................................................................115第9 章 pandas 数据清洗 .......................................................................... 1179.1 数据读写、选择、整理和描述 ....................................................................................1179.1.1 从CSV 中读取数据 ...............................................................................................1199.1.2 向CSV 写入数据 .................................................................................................. 1209.1.3 数据选择 ................................................................................................................ 1209.1.4 数据整理 ................................................................................................................ 1229.1.5 数据描述 ................................................................................................................ 1239.2 数据分组、分割、合并和变形 ................................................................................... 1249.2.1 数据分组 ................................................................................................................ 1249.2.2 数据分割 ................................................................................................................ 1279.2.3 数据合并 ................................................................................................................ 1289.2.4 数据变形 ................................................................................................................ 1349.2.5 案例：旅游数据的分析与变形 ............................................................................ 136Python 3 爬虫、数据清洗与可视化实战9.3 缺失值、异常值和重复值处理 ................................................................................... 1409.3.1 缺失值处理 ............................................................................................................ 1409.3.2 检测和过滤异常值 ................................................................................................ 1449.3.3 移除重复数据 ........................................................................................................ 1479.3.4 案例：旅游数据的值检查与处理 ........................................................................ 1499.4 时序数据处理 ............................................................................................................... 1529.4.1 日期/时间数据转换 ............................................................................................... 1529.4.2 时序数据基础操作 ................................................................................................ 1539.4.3 案例：天气数据分析与处理 ................................................................................ 1559.5 数据类型转换 ............................................................................................................... 1589.6 正则表达式 ................................................................................................................... 1609.6.1 元字符与限定符 .................................................................................................... 1619.6.2 案例：用正则表达式提取网页文本信息 ............................................................ 1620 章综合应用实例 ............................................................................. 16410.1 按性价比给用户推荐旅游产品 ................................................................................. 16410.1.1 数据采集 .............................................................................................................. 16510.1.2 数据清洗、建模 .................................................................................................. 16910.2 通过热力图分析为用户提供出行建议 ..................................................................... 17210.2.1 某旅游网站热门景点爬虫代码（qunaer_sights.py） ....................................... 17510.2.2 提取CSV 文件中经纬度和销量信息 ................................................................ 17810.2.3 创建景点门票销量热力地图HTML 文件 ......................................................... 1791 章数据可视化 ................................................................................. 18211.1 matplotlib .................................................................................................................... 18311.1.1 画出各省份平均价格、各省份平均成交量柱状图 .......................................... 18311.1.2 画出各省份平均成交量折线图、柱状图、箱形图和饼图 .............................. 18411.1.3 画出价格与成交量的散点图 .............................................................................. 18511.2 pyecharts ...................................................................................................................... 18611.2.1 Echarts 简介 ......................................................................................................... 18611.2.2 pyecharts 简介 ..................................................................................................... 18711.2.3 初识pyecharts，玫瑰相送 .................................................................................. 18711.2.4 pyecharts 基本语法 .............................................................................................. 18811.2.5 基于商业分析的pyecharts 图表绘制 ................................................................. 19011.2.6 使用pyecharts 绘制其他图表 ............................................................................. 19911.2.7 pyecharts 和Jupyter ............................................................................................. 203