python爬取淘宝商品做数据挖掘

最新推荐文章于 2024-09-04 10:43:34 发布
最新推荐文章于 2024-09-04 10:43:34 发布
阅读量2.4k 收藏 27
点赞数 1
文章标签： python 爬虫 数据库
原文链接：http://www.cnblogs.com/luengmingbiao/p/10822513.html
版权
该项目使用Python爬虫抓取了淘宝零食类目4400个商品数据，进行了数据清洗、预处理，并分析了商品标题、价格分布、销量、销售额及省份分布。通过jieba分词和词云可视化，发现零食市场中整装、特产、网红品牌占据显著位置。价格在0-50元的商品最畅销，销量与价格呈负相关，沿海地区商品店铺较多。
摘要由CSDN通过智能技术生成

作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159

 

项目内容：

　　本项目选择 淘宝商品类目：零食

       数量：一共100页，4400个零食商品

       筛选条件：天猫、销量从高到低、价格0元到200元以内

 

项目目的：

  1. 对商品标题进行文本分析以及词云可视化
  2. 商品价格分布情况分析
  3. 商品的销量分布情况分析
  4. 商品价格对销量的影响分析
  5. 商品价格对销售额的影响分析
  6. 不同省份或城市的商品数量分布

 

项目步骤：

  1. 数据采集模块：利用Python爬虫爬取淘宝网商品数据
  2. 数据预处理模块：对商品数据进行清洗和处理
  3. 数据分析模块：jieba分词、wordcloud可视化、数据分析及可视化

 

项目环境：

　　系统环境：win10 64位

　　工具：pycharm，chrome devTools，Anaconda

 

一、爬取数据

　　因为淘宝网是有反爬虫机制的，虽然我使用了多线程、修改headers参数，以及使用代理ip等，也考虑到我当前测试环境是使用校园网进行爬取淘宝商品信息的，学校只有一个公网ip，按照以往的经验，使用校园网做测试环境的话是不容易被封的，但仍然不能保证每次100%爬取，所以我增加了循环爬取，每次循环爬取未爬取成功的页面，直至所有的页面全部爬取成功。

　　淘宝商品页面上存储的商品数据是以Json格式存储的，在这里我选择用正则表达式进行解析：

　　代码如下：

import re
import time
import random
import requests
import pandas as pd
from retrying import retry
from concurrent.futures import ThreadPoolExecutor

start = time.clock()  # 开始计时

# 请求头池
user_agent = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; "
    ".NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR "
    "2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR "
    "3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; "
    ".NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR "
    "3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 ("
    "Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 "
    "Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 "
    "Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 "
    "LBBROWSER",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR "
    "3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 "
    "LBBROWSER",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR "
    "3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR "<
最低0.47元/天 解锁文章
aju1790
关注
【Python】完美采集淘宝数据（附完整源代码和视频教程）
落伍的码农
08-31 6106
目录 前言 准备 分析（x0） 分析（x1） 分析（x2） 分析（x3） 分析（x4） 总结 我有话说 前言 大家好，我叫善念。不说漂亮话，直接开始今天要采集的目标：某宝数据 今天要采用的方式是selenium自动化工具。 简单说下selenium的原理——利用网页元素控制浏览器。 准备 安装selenium模块： pip install selenium 我采用的是利用selenium控制Chrome浏览器，所以咱们需要下载一个selenium与Chrome的桥梁——C
python爬取淘宝商品做数据挖掘_python爬虫-唯品会商品信息实战步骤详解
weixin_35828992的博客
02-21 993
唯品会商品信息实战1. 目标网址和页面解析2. 爬虫初探3. 爬虫实操3.1 进行商品id信息的爬取3.2 商品id数据url构造3.3 商品id数据格式转化及数量验证3.4 商品详细信息获取4. 全部代码1. 目标网址和页面解析唯品会官网中假如搜索护肤套装，返回的页面如下下拉右侧滚动条可以发现，滑动到下面的时候页面会自动刷新出商品的数据，这里就体现了ajax交互，说明商品的信息是存放在json...
使用python对淘宝商品信息数据进行爬取
01-13
使用python对淘宝数据进行爬取，浏览器需要设置为搜狐浏览器，若不是搜狐浏览器，则需要对浏览器对象进行更改。
python爬取淘宝商品信息
01-26
import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def fillUnivList(ulist, html): soup = BeautifulSoup(html, "html.parser") for a in soup.find('tbody').children: if isinstance(a, bs4.element.Tag): tds = a('td') ulist.append([tds[0].string, tds[1].string, tds[2].string, tds[3].string]) def printUnivList(ulist, num): print("{:^10}\t{:^6}\t{:^6}\t{:^16}".format("排名","学校名称","地区","总分")) for i in range(num): u=ulist[i] print("{:^10}\t{:^6}\t{:^6}\t{:^16}".format(u[0],u[1],u[2],u[3]))
python实现爬取淘宝商品信息(标题、销量、主图、店铺等）
最新发布
Merissa_的博客
09-04 1721
要搜索的商品的关键词KEYWORD = '衣服'# 数据库中要插入的表# MySQL 数据库连接配置,根据自己的本地数据库修改# 创建 MySQL 连接对象# 关闭自动测试状态显示 // 会导致浏览器报：请停用开发者模式# 把chrome设为selenium驱动的浏览器代理；# 窗口最大化# wait是Selenium中的一个等待类，用于在特定条件满足之前等待一定的时间(这里是15秒)。# 如果一直到等待时间都没满足则会捕获TimeoutException异常。
超详细python实现爬取淘宝商品信息(标题、销量、地区、店铺等)
weixin_48266589的博客
12-30 2万+
要搜索的商品的关键词KEYWORD = '衣服'# 数据库中要插入的表# MySQL 数据库连接配置,根据自己的本地数据库修改# 创建 MySQL 连接对象# 关闭自动测试状态显示 // 会导致浏览器报：请停用开发者模式# 把chrome设为selenium驱动的浏览器代理；# 窗口最大化# wait是Selenium中的一个等待类，用于在特定条件满足之前等待一定的时间(这里是15秒)。# 如果一直到等待时间都没满足则会捕获TimeoutException异常。
Python爬虫实战之爬淘宝商品并做数据分析
热门推荐
m0_59235245的博客
05-18 2万+
前言 是这样的，之前接了一个金主的单子，他想在淘宝开个小鱼零食的网店，想对目前这个市场上的商品做一些分析，本来手动去做统计和分析也是可以的，这些信息都是对外展示的，只是手动比较麻烦，所以想托我去帮个忙。 一、 项目要求： 具体的要求如下： 1.在淘宝搜索“小鱼零食”，想知道前10页搜索结果的所有商品的销量和金额，按照他划定好的价格区间来统计数量，给我划分了如下的一张价格区间表： 2.这10页搜索结果中，商家都是分布在全国的哪些位置？ 3.这10页的商品下面，用户评论最多的是什么？ 4.从这些搜索结果中，
利用Python爬虫爬取淘宝商品做数据挖掘分析实战篇，超详细教程
weixin_67991858的博客
08-02 3673
2. 价格500-2500之间的少数商品销量冲的很高，价格2500-5000之间的商品多数销量偏低，少数相对较高，但价格5000以上的商品销量均很低 没有销量突出的商品。3. 价格在0-20000的商品只有少数销售额较高，价格2万-6万的商品只有3个销售额较高，价格6-10万的商品有1个销售额很高，而且是最大值。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
【爬虫】Python实现爬取淘宝商品信息（超详细）
qq_46315152的博客
07-25 7664
项目基于Python的第三方库Selenium模拟浏览器运行、PyQuery解析和操作HTML文档，获取淘宝平台中某类商品的详细信息（商品标题、价格、销量、商铺名称、地区、商品详情页链接、商铺链接等），并基于第三方库openpyxl建立、存储于Excel表格中。# 全局变量count = 1 # 写入Excel商品计数# 启动ChromeDriver服务# 关闭自动测试状态显示 // 会导致浏览器报：请停用开发者模式# 把chrome设为selenium驱动的浏览器代理；# 窗口最大化。
Python爬虫案例1：爬取淘宝网页数据
weixin_60361911的博客
10-27 7677
Python爬虫案例1：爬取淘宝网页数据
python爬取淘宝信息并作分析
03-08
Python利用bs4 分析网页进行爬取，利用numpy matplotlib pandas进行分析展示。
淘宝数据挖掘和数据分析
06-15
完整版淘宝单类商品全品类数据挖掘及数据分析代码，设计库：requests，pandas，matplotlib，xlwt，神器jieba，wordcloud等等 代码里因为爬虫部分执行需要几秒时间，所以注释掉了，使用的话放开即可。
Python3爬取淘宝网商品数据！
爬遍所有网站
08-20 7503
分析淘宝网 这次选择的是淘宝网热卖而不是淘宝网，二者虽然名字有不同，但是数据还是一样的，区别就在于前者把后者的所有店铺和商品的海量数据按照销售量、好评度、信誉度综合测评、重新计算、重新排序展现给买家的一个导购网站。 找到准确数据： 请求参数对比： jsv: 2.4.0 appKey: 12574478 t: 1597626852590 sign: 457c09a81147eb493d1f58ad6ab64d52 api: mtop.alimama.union.sem.landi.
Python网页信息采集：使用PhantomJS采集淘宝天猫商品内容
一起学习Python网络爬虫
07-06 6361
最近一直在看Scrapy 爬虫框架，并尝试使用Scrapy框架写一个可以实现网页信息采集的简单的小程序。尝试过程中遇到了很多小问题，希望大家多多指教。
Python简单爬虫——淘宝数据
aimee_1024的博客
11-25 3592
爬虫对于数据分析的人来说是一个很方便又节省时间的工具，在网络爬虫抓取数据之前，要知道有些网页对网络爬虫是有限制的。在抓取数据之前可以在网站根目录下的robots.text文件中查找对爬虫网站的爬取策略。 我是用jupyter notebook来实现这个爬虫代码的，在之前要提前安装好第三方库requests.(如果是anaconda，不用再次安装，可以在conda list下面看有没有request
使用Python爬虫爬取淘宝商品并分析
weixin_44804615的博客
04-21 2万+
使用Python分析数据1.数据获取和保存2.数据清洗和处理3.分析数据，并且使用tableau实现数据可视化 1.数据获取和保存 由于近年来淘宝的反爬措施逐渐完善，爬取难度变大，在爬取时必须要登录之后才能查看相关的商品信息，淘宝数据是通过动态加载的方式显示的，所以本文使用selenium模拟浏览器操作爬取商品页详情信息。 需要提取安装和selenuim和浏览器驱动chromedriver，由于chorme浏览器的自动更新，所以导致我的chrome浏览器版本和chromedriver版本不一致
Python爬虫项目实战之爬取淘宝商品数据
程序员鑫港的博客
10-17 4042
Python爬虫可以用于爬取淘宝商品数据，并对这些数据进行数据分析。下面是一个简单的示例，展示如何使用Python爬取淘宝商品数据并进行数据分析。
【Python爬虫】爬取淘宝商品数据——新手教程
2301_76767228的博客
04-24 2579
小白教程例子：爬取淘宝上所有卖高跟鞋的商家的商品名称、商品价格、付款人数、店铺和发货地址，将爬取到的数据保存在data.csv文件中......
python爬取淘宝数据
08-30
你可以使用Python的爬虫库如Requests和BeautifulSoup来爬取淘宝数据。首先，你需要安装这些库，你可以使用以下命令来安装它们： ``` pip install requests pip install beautifulsoup4 ``` 然后，你需要编写代码来发送HTTP请求并解析HTML页面。下面是一个简单的示例代码，用于爬取淘宝搜索结果的商品名称和价格： ```python import requests from bs4 import BeautifulSoup def crawl_taobao(keyword): url = f'https://s.taobao.com/search?q={keyword}' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'} response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') items = soup.select('.JIIxO .bJiiH .NqWiB .NqWif') for item in items: name = item.select('.JIIxO .bJiiH a')[0].text.strip() price = item.select('.JIIxO .bJiiH .NqWiB .NqWif')[0].text.strip() print(f'商品名称: {name}') print(f'价格: {price}\n') else: print('请求失败') crawl_taobao('手机') ``` 在这个示例中，我们首先构造了淘宝搜索的URL，然后发送HTTP请求获取搜索结果的页面。接着，我们使用BeautifulSoup解析HTML页面，提取出商品名称和价格，并进行展示。 注意：请确保你的爬取行为符合相关网站的规范和法律法规。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值