使用的是feapder框架+框架封装的selenium
settings.py
把feadper封装好的webdriver和mysql放开,mysql填写数据库信息
items.py
省略
spider.py
# -*- coding: utf-8 -*-
from amazon.items import cat_item # items.py里面
from amazon.items import detail_item # items.py里面
import feapder,time,random
from feapder.db.mysqldb import MysqlDB
from feapder.utils.webdriver import WebDriver
class AmazonSpider(feapder.AirSpider):
rule = {
'cat':'//div[@role="group"]/div' ,# 定位所有分类
'cat_url':'./a/@href', # 分类的url
'cat_title':'./a/text()', # 分类的标题名字
'data_list':'//div[@id="gridItemRoot"]', # 详情页的数据列表
'title':'.//img/@alt',# 定位商品的标题