Python爬虫使用selenium爬取天猫商品信息

文章目录

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！
QQ群：961562169

• • 1.只读取第一页
  • • 1.1准备工作
    • 1.2.定位
    • 1.3.获取商品信息
    • 1.4. 整体代码
    • 1.5.输出结果展示
    • 1.6改进，存储在CSV文件内并分行存储
  • 2.读取多页商品信息
  • • 2.1部分问题
    • 2.2代码
    • 2.3结果展示

在学习本节时，发现在淘宝页面搜索需要登录账号密码，因此就选择天猫网页进行爬取，但是只能爬取第一页，之后的页面也要登录账号。（京东页面搜索下一页不要登录账号，有时间做一个爬取京东页面商品信息）

 

1.只读取第一页

1.1准备工作

天猫搜索页面的URL，以及关键字
https://list.tmall.com/search_product.htm?q=
q后面就是我们需要搜索的商品名称，可以使用quote函数输入keyword,也可以使用send_keys传入到输入框，本文使用第二种方法.

url='https://list.tmall.com/search_product.htm?q='+quote(keyword)
send_keys(keyword)

1.2.定位

1. 首先定位输入框

2.定位搜索