Python获取当当平台商品数据信息可视化效果展示

前言

嗨喽，大家好呀~这里是爱看美女的茜茜呐

环境使用:

• 版 本： python 3.8

• 编辑器：pycharm 2021.2

• jupyter notebook

模块使用:

采集

• requests >>> pip install requests 数据请求

• csv <表格文件> 内置模块 保存数据

数据分析

• pandas

• pyecharts

第三方模块安装：

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

2. 在pycharm中点击Terminal(终端) 输入安装命令

如果出现爆红， 可能是因为 网络连接超时， 可切换国内镜像源，命令如下：

pip install -i https://pypi.doubanio.com/simple/ requests

python资料、源码、教程\福利皆: 点击此处跳转文末名片获取

获取数据

导入模块

# 导入数据请求模块
import requests
# 导入数据解析模块
import parsel
# 导入csv模块
import csv

f = open('data.csv', mode='w', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '书名',
    '评论',
    '推荐',
    '作者',
    '日期',
    '出版社',
    '售价',
    '原价',
    '折扣',
    '电子书',
    '详情页',
])
csv_writer.writeheader()

“”"

1. 发送请求

   • <Response [200]> 表示请求成功

“”"

for page in range(1, 26):
    # 请求链接
    url = f'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-{
     page}'
    # 发送请求
    response = requests.get(url)

“”"

3. 获取数据 -> response<响应对象>.text

   获取整个网页的数据内容

4. 解析数据

   获取具体数据, 我们想要的数据

   当你看到获取的数据, 有这样标签格式, 用css或者xpath是最方便

   css选择器就是根据标签属性提取数据内容

   xpath节点提取

   re正则表达式

“”"

    selector = parsel.Selector(response.