Python 爬虫之 selenium 爬虫,模拟浏览器爬取天猫信息

由于工作需要,需要提取到天猫400个指定商品页面中指定的信息,于是有了这个爬虫。这是一个使用 selenium 爬取天猫商品信息的爬虫,虽然功能单一,但是也算是 selenium 爬虫的基本用法了。

源码展示

# -*- coding: utf-8 -*-

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import csv
import time

class TM_itemdetail(object):
    def __init__(self,readname='ids.txt',savename='info.csv'):
        '''传入2个参数,分别是读取ID的文本名称和保存信息的表格名称,给予默认值'''
        self.readname = readname
        self.savename = savename
        self.driver = webdriver.Chrome()
        self.driver.maximize_window()
        # 设置一个智能等待
        self.waiter = WebDriverWait(self.driver,5)
        self.get_csv()

    def get_csv(self):
        '''创建一个表格,并且给表格添加标题行'''
        with open(self.savename,'w',newline='') as f:
            fieldnames = ['id','info']
            writer = csv.DictWriter(f,fieldnames=fieldnames)
            writer.writeheader()

    def write_info
  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值