使用python + selenium爬取淘宝商品信息

chenpe32cp

于 2017-01-08 10:25:13 发布

阅读量9.2k

点赞数 5

分类专栏： python 文章标签： python selenium 动态网页爬虫

本文链接：https://blog.csdn.net/chenpe32cp/article/details/54232353

版权

本文介绍如何使用Python结合selenium爬取淘宝动态网页上的商品信息。由于淘宝页面数据动态加载，常规爬虫无法获取完整信息。文中详细讲述了如何处理登录问题，以及解决商品信息因滚动加载而部分缺失的问题，通过模拟用户滚动行为确保数据完整爬取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

因为淘宝是动态网页，很多商品的数据是动态加载的，所以我们就无法使用爬取静态页面的方式来抓取淘宝商品信息。这里我使用了自动化测试工具selenium来爬取动态页面的商品信息。这里有几个需要注意的地方，因为淘宝首页打开首先是二维码登录界面，所以为了直接通过程序实现登录，我们要利用指令

find_element_by_id('J_Quick2Static').click()

去点击右上角的小电脑图标切换到账号密码登录界面，这样我们就可以实现通过传递账号密码实现自动登录。

在爬取的时候需要注意的是，有些商品信息，只有在下拉滑动条的时候才会自动加载，而且要注意下拉的长度，否则加载的数据是不完整的，这就导致有些数据爬取不到。这里我采用的方法是：输入商品名称点击搜索之后跳转到商品信息列表界面，之后加入下拉滑动块的代码

    js="var q=document.documentElement.scrollTop=1000"
    firefox_login.execute_script(js)
    time.sleep(2)
    js="var q=document.documentElement.scrollTop=2000"
    firefox_login.execute_script(js) 
    time.sleep(2)
    js="var q=document.documentElement.scrollTop=3000"
    firefox_login.execute_script(js) 
    time.sleep(2)  
    js="var q=document.documentElement.scrollTop=4000"
    firefox_login.execute_script(js)
    time.sleep(2)
    js="var q=document.documentElement.scrollTop=5000"
    firefox_login.execute_script(js)
    time.sleep(2)
    js="var q=document.documentElement.scrollTop=6000"
    firefox_login.execute_script(js)
    time.sleep(2)
    js="var q=document.documentElement.scrollTop=7000"
    firefox_login.execute_script(js)
    time.sleep(2)

这里要注意不能一次性下拉到底部