python自动化爬取淘宝商品数据导入execl表格

本文介绍了如何使用Python结合selenium库爬取淘宝商品数据,包括商品名称、价格、付款人数、店铺名称和地址,并将数据保存为CSV文件,进一步可以导入Excel。手动扫码登录以避开反爬策略,通过主要方法search_product和get_product实现数据抓取。
摘要由CSDN通过智能技术生成

电商时代,淘宝、京东、天猫商品数据对店铺运营有极大的帮助,因此获取相应店铺商品的数据能够带来极大的价值,那么我们如何获取到相应的数据呢?

这次我们来讲解淘宝爬虫代码————代码如下:

from selenium import webdriver
import time
import csv
import re

导入自动化的库selenium, 缓存时间time库, 将文件保存为csv形式, 导入re正则匹配的库

if name == ‘main’:
keyword = input(“请输入你要商品的关键字:”)
path = r’L:\webdriver\chromedriver.exe’
driver = webdriver.Chrome(path)
driver.get(‘https://www.taobao.com/’)
main()

输入查询的关键字: 例如输入ins潮流T恤,path为webdriver.exe驱动设备存放的路径,实例化一个driver对象,然后利用get方法访问淘宝网址!再调用main()方法.

请大家记住,一定要扫码登录!不然会被淘宝反爬!如图所示!
在这里插入图片描述
在这里插入图片描述
程序运行开始结果如下:
20210116103556989.png
20210116103556989.png
def main():
print(‘正在爬取第一页数据’)

page = search_product(keyword)
get_product()
page_num = 1
# q不变 0 44 188(页数*44)
while page_num !
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值