qq_42052864的博客

思路爬取页面信息，存储详情页链接 爬取详情页链接 爬取详情页图片 将数据保存到mysql 要点商品列表页爬取-商品链接，商品价格，商品名称，图片链接，评论链接，ASIN----需要登录或者修改配送地址（登录执行1次） 爬取商品链接，需要变体COLOR,SIZE，商店名称，detail 1个driver爬取页面 5个driver爬取详情页 request下载图片导入模块from selenium import webdriverfrom selenium.webdriver..

亚马逊商品评论有反爬虫，所以就用selenium爬了。网速一定要好，不然爬的真的是天昏地暗。配合多线程就会快很多，这个不写了，爬的时候手动复制了N个代码去爬。还有一个点，中文和英文的设置，可以在评论里面加进去from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as

继上一篇亚马逊bestsellers的爬取优化。主要是开启多线程以及自动重新爬取失败的链接。但还是有问题，就是如果那个链接本身就有问题，那爬虫就会一直爬下去，得手动停止。但问题不大，只要确保爬取的链接正确，就行。emmm....不想改了bestsellers不用selenium，可以稍微控制下速度，有问题欢迎各位同学指教哈生产者线程主要是去爬beistseller链接 item消费者解析数据并保存 图片线程下载图片有个问题，就是保存item数据的时候本来是想生成器然后返回数据，再建个函数保

亚马逊Best Sellers没有什么反爬机制，但有限制，就是爬着爬着就爬不动了，爬的类目也不多，就clothing这个类目，所以就将就用着，在里面加了个是否爬取，如果之前爬了就不爬了。直接下代码，也没有什么难度。就是爬不动的时候要重新爬，而且也没有设置再自动重新爬。太懒了吧....可以加个queue和开启多线程，应该会快很多。之后再改改import requestsimport csvfrom bs4 import BeautifulSoupimport pandas as pd..