用selenium爬取淘宝商品信息！听说这个项目值五百？

最新推荐文章于 2024-05-16 16:37:49 发布

pythonlaodi

最新推荐文章于 2024-05-16 16:37:49 发布

阅读量139

点赞数

分类专栏：爬虫文章标签： selenium xpath chrome csv dom

原文链接：https://blog.csdn.net/weixin_45019310/article/details/90573541?utm_medium=distribute.pc_relevant.none-task-blog-OPENSEARCH-3.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-3.channel_param

版权

爬虫专栏收录该内容

244 篇文章 15 订阅

订阅专栏

1.附上效果图

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

2.淘宝网址https://www.taobao.com/
3.先写好头部

browser = webdriver.Chrome()
wait = WebDriverWait(browser,20)#设置等待时间为20秒
url ='https://www.taobao.com/'
keyword = 'python爬虫'#关键词
data_list = []#设置全局变量来存储数据

4.先找到搜索框并用selenium模拟点击（发现需要登录，我直接扫码登录，没有写模拟登录的过程）

def search():
    try:
        browser.get(url)#获取网页
        input = wait.until(EC.presence_of_element_located((
            By.XPATH,'//*[@id="q"]'
        )))#等到输入框加载出来
        button = wait.until(EC.element_to_be_clickable((
            By.XPATH,'//*[@id="J_TSearchForm"]/div[1]/button'
        )))#等到搜索框加载出来
        input.send_keys(keyword)#输入关键词
        button.click()#模拟鼠标点击
        total = wait.until(EC.presence_of_element_located((
            By.XPATH,'//*[@id="mainsrp-pager"]/div/div/div/div[1]'
        ))).text#等到python爬虫页面的总页数加载出来
        total = re.sub(r',|，','',total)#发现总页数有逗号
        #数据清洗，将共100页后面的逗号去掉,淘宝里的是大写的逗号
        print(total)
        totalnum = int(re.compile('(\d+)').search(total).group(1))
        # 只取出100这个数字
        print("第1页:")
        get_data()#获取数据(下面才写到)
        return totalnum
    except TimeoutError:
        search()

5.获取商品信息，在这里我发现前几个会有淘宝的掌柜热卖的广告，属性和其他的不一样，我就用item从上往下数的第几个的方法找到他们

def get_data():
    try:
        lis = browser.find_elements_by_xpath('//div[@class = "items"]/div[@data-category="auctions"]')
        for i in range(len(lis)):
            name = browser.find_elements_by_xpath('.//div[@class="pic"]/a[@class="pic-link J_ClickStat J_ItemPicA"]/img')[i].get_attribute('alt')
            #获取书名,我是从图片那里的属性获取的书名，比较方便
            shopname = browser.find_elements_by_xpath('.//div[@class="shop"]/a[@class="shopname J_MouseEneterLeave J_ShopInfo"]/span[2]')[i].text
            #获取店铺名
            price = browser.find_elements_by_xpath('.//div[@class="price g_price g_price-highlight"]/strong')[i].text
            #获取价格
            paynum = browser.find_elements_by_xpath('.//div[@class="deal-cnt"]')[i].text
            #获取付款人数

            data_dict={}#定义一个字典存储数据
            data_dict["name"] = name
            data_dict["shopname"] = shopname
            data_dict["price"] = price
            data_dict["paynum"] = paynum
            print(data_dict)#输出这个字典
            data_list.append(data_dict)#将数据存入全局变量中
    except TimeoutError:
        get_data()

6.翻页方法，对比1，2，3页网址，发现只有q和s的属性有用，q是搜索,s是商品数，只需要填写这2个属性，用修改s的属性的方式翻页

def next_page():
    totalnum = search()#获取总页数的值，并且调用search获取第一页数据
    num = 1#初始为1，因为我第一页已经获取过数据了
    while num !=3:#这里我偷懒只爬取了3页
    # while num != totalnum - 1:#首先进来的是第1页，共100页，所以只需要翻页99次
        print("第%s页:" %str(num+1) )
        browser.get('https://s.taobao.com/search?q=python爬虫&s={}'.format(44 * num))
        #用修改s属性的方式翻页
        browser.implicitly_wait(10)
        #等待10秒
        get_data()#获取数据
        time.sleep(3)
        num +=1#自增

7.存储方法

def save():
    content = json.dumps(data_list, ensure_ascii=False, indent=2)
    # 把全局变量转化为json数据
    with open("taobao.json", "a+", encoding="utf-8") as f:
        f.write(content)
        print("json文件写入成功")

    with open('taobao.csv', 'w', encoding='utf-8', newline='') as f:
        # 表头
        title = data_list[0].keys()
        # 声明writer
        writer = csv.DictWriter(f, title)
        # 写入表头
        writer.writeheader()
        # 批量写入数据
        writer.writerows(data_list)
    print('csv文件写入完成')

8.调用函数

def main():
    next_page()
    save()


if __name__ == '__main__':
   main()

9.最后附上完整代码，因为爬取的是淘宝，我也不敢多爬

import time
from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
import re
import json
import csv

browser = webdriver.Chrome()
wait = WebDriverWait(browser,20)#设置等待时间为20秒
url ='https://www.taobao.com/'
keyword = 'python爬虫'#关键词
data_list = []#设置全局变量来存储数据

def search():
    try:
        browser.get(url)#获取网页
        input = wait.until(EC.presence_of_element_located((
            By.XPATH,'//*[@id="q"]'
        )))#等到输入框加载出来
        button = wait.until(EC.element_to_be_clickable((
            By.XPATH,'//*[@id="J_TSearchForm"]/div[1]/button'
        )))#等到搜索框加载出来
        input.send_keys(keyword)#输入关键词
        button.click()#模拟鼠标点击
        total = wait.until(EC.presence_of_element_located((
            By.XPATH,'//*[@id="mainsrp-pager"]/div/div/div/div[1]'
        ))).text#等到python爬虫页面的总页数加载出来
        total = re.sub(r',|，','',total)#发现总页数有逗号
        #数据清洗，将共100页后面的逗号去掉,淘宝里的是大写的逗号
        print(total)
        totalnum = int(re.compile('(\d+)').search(total).group(1))
        # 只取出100这个数字
        print("第1页:")
        get_data()#获取数据(下面才写到)
        return totalnum
    except TimeoutError:
        search()


def get_data():
    try:
        lis = browser.find_elements_by_xpath('//div[@class = "items"]/div[@data-category="auctions"]')
        for i in range(len(lis)):
            name = browser.find_elements_by_xpath('.//div[@class="pic"]/a[@class="pic-link J_ClickStat J_ItemPicA"]/img')[i].get_attribute('alt')
            #获取书名,我是从图片那里的属性获取的书名，比较方便
            shopname = browser.find_elements_by_xpath('.//div[@class="shop"]/a[@class="shopname J_MouseEneterLeave J_ShopInfo"]/span[2]')[i].text
            #获取店铺名
            price = browser.find_elements_by_xpath('.//div[@class="price g_price g_price-highlight"]/strong')[i].text
            #获取价格
            paynum = browser.find_elements_by_xpath('.//div[@class="deal-cnt"]')[i].text
            #获取付款人数

            data_dict={}#定义一个字典存储数据
            data_dict["name"] = name
            data_dict["shopname"] = shopname
            data_dict["price"] = price
            data_dict["paynum"] = paynum
            print(data_dict)#输出这个字典
            data_list.append(data_dict)#将数据存入全局变量中
    except TimeoutError:
        get_data()

def next_page():
    totalnum = search()#获取总页数的值，并且调用search获取第一页数据
    num = 1#初始为1，因为我第一页已经获取过数据了
    while num !=3:#这里我偷懒只爬取了3页
    # while num != totalnum - 1:#首先进来的是第1页，共100页，所以只需要翻页99次
        print("第%s页:" %str(num+1) )
        browser.get('https://s.taobao.com/search?q=python爬虫&s={}'.format(44 * num))
        #用修改s属性的方式翻页
        browser.implicitly_wait(10)
        #等待10秒
        get_data()#获取数据
        time.sleep(3)
        num +=1#自增



def save():
    content = json.dumps(data_list, ensure_ascii=False, indent=2)
    # 把全局变量转化为json数据
    with open("taobao.json", "a+", encoding="utf-8") as f:
        f.write(content)
        print("json文件写入成功")

    with open('taobao.csv', 'w', encoding='utf-8', newline='') as f:
        # 表头
        title = data_list[0].keys()
        # 声明writer
        writer = csv.DictWriter(f, title)
        # 写入表头
        writer.writeheader()
        # 批量写入数据
        writer.writerows(data_list)
    print('csv文件写入完成')

def main():
    next_page()
    save()


if __name__ == '__main__':
   main()

这个真值五百吗？哪有这种单子，都给我吧！嘿嘿嘿

此文转载文，著作权归作者所有如有侵权联系小编删除！

pythonlaodi

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
用selenium爬取淘宝商品信息！听说这个项目值五百？

1.附上效果图PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入2.淘宝网址https://www.taobao.com/3.先写好头部browser = webdriver.Chrome()wait = WebDriverWait(browser,20)#设置等待时间为20秒url ='https://www.taobao.com/'keyword = 'python爬虫'#关键词dat...
复制链接

扫一扫