2024年最全Python爬取淘宝商品数据，价值千元的爬虫外包项目(2)

确定目标网页

---

Selenium 就是模拟人的行为去操作~ 按照流程~

爬取内容：

• 商品价格

• 商品名字

• 销量

• 店铺名字

• 发货地

1、获取搜索框元素，输入想要搜索的内容 这里咱们呢搜索女士包包的关键词

driver.find_element_by_css_selector(‘#q’).send_keys(‘女式包包’)

2、获取搜索按钮元素，点击搜索

driver.find_element_by_css_selector(‘.search-button’).click()

3、会弹出登陆页面

• 方案一：

- 获取账号和密码元素，用代码输入~ 合理设置好延时，并不会出现验证码~

• 方案二：

- 获取支付宝登陆元素，点击手动扫码登陆

这边选择方案二，方案一是可行的，但是会账号密码，所以这个你们可以自己去尝试

driver.find_element_by_css_selector(‘#login-form > div.login-blocks.sns-login-links > a.alipay-login’).click()

4、获取商品列表页数据

和普通爬虫解析网站数据一样的~获取列表页标签，然后再二次提取。

这里创建一个字典，接收数据，方便等会保存到csv文件。

lis = driver.find_elements_by_css_selector(‘#mainsrp-itemlist .item’)

dit = {}

for li in lis:

time.sleep(1)

price = li.find_element_by_css_selector(‘.ctx-box .price strong’).text + ‘元’ # 商品价格

dit[‘商品价格’] = price

deal = li.find_element_by_css_selector(‘.ctx-box .deal-cnt’).text # 成交量

dit[‘成交量’] = deal

row = li.find_element_by_css_selector(‘.ctx-box .row-2 a’).text # 商品名字

dit[‘商品名字’] = row

shop = li.find_element_by_css_selector(‘.shop > a > span:nth-child(2)’).text # 店铺名字

dit[‘店铺名字’] = shop

city = li.find_element_by_css_selector(‘.row-3 > div.location’).text # 发货地址

dit[‘发货地址’] = city

5、保存数据

最后一步就是保存数据了，基本操作了

f = open(‘淘宝数据.csv’, mode=‘a’, encoding=‘utf-8-sig’, newline=‘’)

csv_writer = csv.DictWriter(f, fieldnames=[‘商品价格’, ‘成交量’, ‘商品名字’, ‘店铺名字’, ‘发货地址’])

csv_writer.writeheader()

csv_writer.writerow(dit)

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！