手把手教你使用Python打造一个智能搜索淘宝商品！

 

/1 前言/

随着网购的兴起，使得很多传统店铺转型做线上生意，电子商务的产生极大便利了我们的生活。

/2 项目目标/

通过Python程序一键搜索并直达目的地，爬取淘宝商品链接，商品名称，及商品的图片链接，并将每次的操作 记录在日志文件里。

/ 3  项目准备/

采用sublime text 3编辑器 编写程序，先看看程序运行后的主界面：

/4 项目实现/

1、分析页面结构并将商品信息放到各自列表中，就拿下面这个店铺为例。

2、老样子，F12 ,因为我们要找的是店铺的商品链接，所以我们尽可能找多的商品，从店铺的布局来看，好像就宝贝推荐这个板块的商品较多，所以，我们今天就爬这个板块内的所有内容。

3、图中的 1,2,3步即是我们要爬的商品各种信息，可以看出商品全在class为photo的dt标签内，所以我们需要将他们提取出来。

try:


              urllib3.disable_warnings()  #从urllib3中消除警告


              #网页请求


              rep=requests.get(self.e2.get(),verify=False,timeout=4) #证书验证设为FALSE,设置访问延时


              rep.encoding='gbk'


              soup=BeautifulSoup(rep.content,'html.parser')


              result=soup.find_all('dt',class_='photo') #获取到所有class为photo的dt元素


for x in result:


                    tt=x.find_all('a')  #获取dt下的所有子元素a


for y in tt:


for x in y:


                               ab=x.find_next_siblings('img') #获取所有的下一个兄弟元素img


for z in ab:


                                     \#将商品名称和商品图片链接添加到列表aa和bb中


                                     aa.ap