/1 前言/
随着网购的兴起,使得很多传统店铺转型做线上生意,电子商务的产生极大便利了我们的生活。
/2 项目目标/
通过Python程序一键搜索并直达目的地,爬取淘宝商品链接,商品名称,及商品的图片链接,并将每次的操作 记录在日志文件里。
/ 3 项目准备/
采用sublime text 3编辑器 编写程序,先看看程序运行后的主界面:
/4 项目实现/
1、分析页面结构并将商品信息放到各自列表中,就拿下面这个店铺为例。
2、老样子,F12 ,因为我们要找的是店铺的商品链接,所以我们尽可能找多的商品,从店铺的布局来看,好像就宝贝推荐这个板块的商品较多,所以,我们今天就爬这个板块内的所有内容。
3、图中的 1,2,3步即是我们要爬的商品各种信息,可以看出商品全在class为photo的dt标签内,所以我们需要将他们提取出来。
try: urllib3.disable_warnings() #从urllib3中消除警告 #网页请求 rep=requests.get(self.e2.get(),verify=False,timeout=4) #证书验证设为FALSE,设置访问延时 rep.encoding='gbk' soup=BeautifulSoup(rep.content,'html.parser') result=soup.find_all('dt',class_='photo') #获取到所有class为photo的dt元素 for x in result: tt=x.find_all('a') #获取dt下的所有子元素a for y in tt: for x in y: ab=x.find_next_siblings('img') #获取所有的下一个兄弟元素img for z in ab: \#将商品名称和商品图片链接添加到列表aa和bb中 aa.appe