电商时代,淘宝、京东、天猫商品数据对店铺运营有极大的帮助,因此获取相应店铺商品的数据能够带来极大的价值,那么我们如何获取到相应的数据呢?
这次我们来讲解淘宝爬虫代码————代码如下:
from selenium import webdriver
import time
import csv
import re
导入自动化的库selenium, 缓存时间time库, 将文件保存为csv形式, 导入re正则匹配的库
if name == ‘main’:
keyword = input(“请输入你要商品的关键字:”)
path = r’L:\webdriver\chromedriver.exe’
driver = webdriver.Chrome(path)
driver.get(‘https://www.taobao.com/’)
main()
输入查询的关键字: 例如输入ins潮流T恤,path为webdriver.exe驱动设备存放的路径,实例化一个driver对象,然后利用get方法访问淘宝网址!再调用main()方法.
请大家记住,一定要扫码登录!不然会被淘宝反爬!如图所示!
在这里插入图片描述
在这里插入图片描述
程序运行开始结果如下:
20210116103556989.png
20210116103556989.png
def main():
print(‘正在爬取第一页数据’)
page = search_product(keyword)
get_product()
page_num = 1
# q不变 0 44 188(页数*44)
while page_num !