python36爬取天猫网站数据

最新推荐文章于 2024-08-12 17:39:28 发布
最新推荐文章于 2024-08-12 17:39:28 发布
阅读量892 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42379006/article/details/80586566
版权 
# -*- coding:utf-8 -*-
import re
import xlwt
import random
import json
from urllib import request
from urllib.request import ProxyHandler, build_opener
import chardet
#设计一个函数，只用来获取网页内容
count = 0
def getHtml(url):
    USER_AGENTS = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10",
        "Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/533.17.8 (KHTML, like Gecko) Version/5.0.1 Safari/533.17.8",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.19.4 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.1.17) Gecko/20110123 (like Firefox/3.x) SeaMonkey/2.0.12",
        "Mozilla/5.0 (Windows NT 5.2; rv:10.0.1) Gecko/20100101 Firefox/10.0.1 SeaMonkey/2.7.1",
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_5_8; en-US) AppleWebKit/532.8 (KHTML, like Gecko) Chrome/4.0.302.2 Safari/532.8",
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_4; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.464.0 Safari/534.3",
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_5; en-US) AppleWebKit/534.13 (KHTML, like Gecko) Chrome/9.0.597.15 Safari/534.13",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.54 Safari/535.2",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.36 Safari/535.7",
        "Mozilla/5.0 (Macintosh; U; Mac OS X Mach-O; en-US; rv:2.0a) Gecko/20040614 Firefox/3.0.0 ",
        "Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.0.3) Gecko/2008092414 Firefox/3.0.3",
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; en-US; rv:1.9.1) Gecko/20090624 Firefox/3.5",
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US; rv:1.9.2.14) Gecko/20110218 AlexaToolbar/alxf-2.0 Firefox/3.6.14",
        "Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"]
    # 代理IP
    proxies = ['116.213.98.6:8080','122.114.31.177:808','121.31.195.145:8123','125.118.147.0:808']
    # 设置请求对象
    req = request.Request(url)
    # 设置请求头部信息
    req.add_header('User-Agent', random.choice(USER_AGENTS))
    #  设置代理IP地址
    proxy_support = ProxyHandler({"http": random.choice(proxies)})
    opener = build_opener(proxy_support)
    request.install_opener(opener)
    # 访问并获取服务端返回的对象
    try:
        res = request.urlopen(req)
        html = res.read()
        return html
    except:
        global count
        count+=1
        if(count>20):
            print(count,json.dumps('请检查网络设置',ensure_ascii=False))
            return
        getHtml(url)   #自己执行自己

#设计一个函数，返回正则处理后的对象
def getDataList():
    # 1.获取天猫网页内容
    url = 'https://www.tmall.com'
    html = getHtml(url)
    html = html.decode('utf-8')    #把utf-8编码解码为str类型
    # print(chardet.detect(html))    #获取网页编码

    # 2.设置正则表达式   去掉的内容 .*?   需要获取的内容 （.*?）
    regstr = '<a href="(.*)">(.*)</a>'
    reg = re.compile(regstr)
    #  <p class="t1 ">.*?<a target="_blank" title="(.*?)" .*?</p>
    # 获取数据结果
    result = re.findall(reg,html)
    return result

# 全局的数据列表datalist
datalist = []
# 向全局datalist内添加数据
def deal():
    global datalist
    #根据设置的页数，用循环，在循环内多次执行获取数据
    data = getDataList()
    for i in range(len(data)):
        datalist.append(data[i])

# 设置存储的函数
def saveExcel(filename):
    #存到本地
    # 1.创建一个工作薄
    wbk = xlwt.Workbook(encoding='utf-8')
    # 2.创建一个工作表
    sheet = wbk.add_sheet('天猫')
    # 03.设置第一行的内容
    col = ('编号', '链接', '内容')
    for i in range(len(col)):
        sheet.write(0,i,col[i])
    # 04.设置 存入本地的序号
    for i in range(len(datalist)):
        sheet.write(i + 1, 0, i + 1)
        for j in range(len(datalist[i])):
            sheet.write(i + 1, j + 1, datalist[i][j])
    # 07. 存储到文件
    wbk.save(filename)

#保存为txt文本
def saveTxt(filename):
    for i in range(0, len(datalist)):
        data = datalist[i]
        with open(filename, 'a') as f:
            f.write(data[0] + '\t' + data[1] + '\n')
            f.close()

#设置主函数
def main(filename):
    deal()
    if 'txt' in filename:
        saveTxt(filename)
    if 'xls' in filename:
        saveExcel(filename)

#filename使用u''
main(u'天猫3.xls')
pennyyangpei
关注
爬虫（6）-使用selenium爬取淘宝天猫商品信息（价格，销售量等）
qq_42754919的博客
09-25 3726
在学习本节时，发现在淘宝页面搜索需要登录账号密码，因此就选择天猫网页进行爬取，但是只能爬取第一页，之后的页面也要登录账号。（京东页面搜索下一页不要登录账号，有时间做一个爬取京东页面商品信息） 1.准备工作 天猫搜索页面的URL，以及关键字 https://list.tmall.com/search_product.htm?q= q后面就是我们需要搜索的商品名称，可以使用quote函数输入keyword,也可以使用send_keys传入到输入框，本文使用第二种方法. url='https://list.tma
使用Python爬取天猫商品详情与评论（包含sign加密分析）
吴秋霖的博客
11-28 5209
使用Python爬取淘宝天猫商品详情与评论（包含sign加密分析）
python27爬取天猫网站数据
qq_42379006的博客
06-05 784
# -*- coding:utf-8 -*- import re import xlwt import urllib2 import random import json #设计一个函数，只用来获取网页内容 count = 0 def getHtml(url): USER_AGENTS = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) App...
利用Python爬虫爬取指定天猫店铺全店商品信息
最新发布
R5463995的博客
08-12 1109
本编博客是关于爬取天猫店铺中指定店铺的所有商品基础信息的爬虫，爬虫运行只需要输入相应店铺的域名名称即可，信息将以csv表格的形式保存，可以单店爬取也可以增加一个循环进行同时爬取。
python爬取天猫_Python爬取天猫商品数据
weixin_40001805的博客
12-05 666
使用教程点击这里下载下载chrome浏览器查看chrome浏览器的版本号，点击这里下载对应版本号的chromedriver驱动pip安装下列包pip install seleniumpip install pyquery点击这里登录微博，并通过微博绑定淘宝账号密码在main中填写chromedriver的绝对路径在main中填写微博账号密码#改成你的chromedriver的完整路径地址chrom...
python爬取天猫_使用selenium爬取天猫数据.py
weixin_39631899的博客
12-11 254
from selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECfrom sel...
python爬取天猫_Python如何抓取天猫商品详细信息及交易记录
weixin_39687301的博客
12-05 1002
本文实例为大家分享了Python抓取天猫商品详细信息及交易记录的具体代码，供大家参考，具体内容如下一、搭建Python环境本帖使用的是Python 2.7涉及到的模块：spynner, scrapy, bs4, pymmssql二、要获取的天猫数据三、数据抓取流程四、源代码#coding:utf-8import spynnerfrom scrapy.selector import Selector...
python爬取天猫商品详情数据
ecommerceAPI的博客
12-28 966
通过这个接口，可以获取商品的标题、价格、图片、销量、规格、库存等信息。这些数据可以用于开发天猫商品搜索、商品推荐、商品比价等功能。同时，通过接口还可以获取商品的用户评价信息，帮助用户了解商品的质量和口碑。这段代码会爬取给定URL的天猫商品详情页面，并提取出商品名称、商品价格和商品评价数。key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=商品ID&is_promotion=1"请求参数：num_iid=652874751412&is_promotion=1。
python爬取天猫商品列表数据接口
ecommerceAPI的博客
12-28 516
请求参数：q=女装&start_price=0&end_price=0&page=1&cat=0&discount_only=&sort=&page_size=&seller_info=&nick=&ppath=&imgid=&filter=请注意，根据天猫网站的规则和政策，爬取天猫网站数据可能违反相关条款，所以在进行任何爬取操作之前，请确保你已经获得了合法的授权或者许可，并遵守相关规则和政策。sort:排序[bid,_bid,bid2,_bid2,_sale,_credit]参数说明：q:搜索关键字。
python爬取天猫商品信息
kwokkkkk的博客
05-20 3836
python爬取天猫商品信息 主要信息有：商品名，价格，月销量，评论数，人气值，店铺评分 以智能手机为例! 首先，发掘网址规律： 商品页面如上 第二页的网址如上 第三页的网址如上 注意网址中的数字（靠近中间位置）：第二页->60,第三页->120 所以大胆猜测网址的规律就体现在这个数字中 经过尝试，规律确实如此 所以可以通过循环，改变数字的值，访问下一页 代码： headers = { 'User-Agent':'', 'Cookie':'' } headers代
Python 爬取天猫 iPhone8plus 销售数据
qthello
03-04 985
流程: 一，爬取数据 保存到mysql数据库 二，读取数据 分析三种颜色的占比。 1，爬取数据保存到mysql数据库： # -*- coding: utf-8 -*- """ Created on Mon Mar 4 11:09:45 2019 @author: Lenovo """"" import urllib import mysql.connector import r...
python爬取天猫商品数据
人生苦短， 还不用Python？
06-13 5521
使用教程 下载chrome浏览器 查看chrome浏览器的版本号，下载对应版本号的chromedriver驱动 pip安装下列包 pip install selenium pip install pyquery 登录微博，并通过微博绑定淘宝账号密码 在main中填写chromedriver的绝对路径 在main中填写微博账号密码 运行结果 基本环境配置 版本：pyth...
爬虫基本语法
Dull_Demon_King的博客
10-18 371
responses.json() ------------> 如果网页源码是json类型，返回的是一个字典。responses.content -----------> 二进制数据（图片之类的）print(len(soup.find_all(text='需要查找的内容''))) # 统计数量。print(soup.find_all(text='需要查找的内容')) # 可以做内容统计用。responses.text -------------> 将网页源码以文本显示。
爬虫简单语法
qq_62654838的博客
01-29 609
爬虫简单语法，持续更新
Python 天猫评论爬取（正则）
天上掉下两毛钱
02-19 1605
通过分析Ajax请求可以看到天猫评论的地址规律变化：http://rate.tmall.com/list_detail_rate.htm?itemId=560016036932&amp;sellerId=2103295383&amp;currentPage=1其中itemId是商品id，sellerid是卖家id，currentPage是页面号那么拿到一个商品的URL后，通过分析源代码可以筛选出 ...
Python爬虫实战：天猫商品数据爬虫使用教程
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
10-06 4888
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 下载chrome浏览器 查看chrome浏览器的版本号，下载对应版本号的chromedriver驱动 pip安装下列包 pip install selenium pip install pyquery 登录微博，并通过微博绑定淘宝账号密码 在main中填写chromedriver的绝对路径 在main中填写微博账号密码 #改成你的chromedriver的完整.
python爬虫天猫商品数据及分析（2）
jia666666的博客
08-08 2087
目的 对之前所获取的数据源进行数据分析操作 数据分析 一：商家地区分布图 通过读取本地数据源，获取其中省份的相关信息，绘制商家地区分布图，以html格式保存在本地， 浏览器打开可随鼠标移动动态显示地区分布商家数量 #!/usr/bin/env python # -*- coding: utf-8 -*- """ __title__ = '' __author__ = 'jia666666' """ from pyecharts.charts import Map import pyecharts.
用python写个天猫网站爬虫程序
weixin_35753431的博客
02-03 494
好的，这是一个简单的天猫网站爬虫程序的例子： import requests from bs4 import BeautifulSoup def tmall_spider(page): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值