使用python和selenium实现的taobao网站爬虫

代码下载

https://github.com/bluecrest8/taobao

taobao.py中修改xxxx为你的账户名称。

启动后扫描qrcode后开始下载网站店铺宝贝，存储到sqlite3 db。

market1.cfg是配置文件

 

db = .\db\market.db  //数据库的位置，会自动生成
shop = market.txt    //店铺的链接地址 淘宝和天猫都可以
times = 201904010900  //用来表示你是哪一天抓的数据
start_page = 1  //1表示从第一页开始抓
page_count = 10 //表示总共抓10页
driver = .\driver\chromedriver.exe //表示你使用的webdriver，可以是fireforx，ie
begin = 2019-03-30 22:09:07 //记录开始抓的时间
current_page = 0 //表示结束时抓到第几页
end = 2019-03-30 22:19:09
update_goods = 0
goods_detail = 0  //1表示不仅仅抓所有宝贝的销量和价格，还要点进去每一个宝贝抓取他的收藏数和评论数