爬取微博数据和视频

最新推荐文章于 2025-04-13 21:07:45 发布

你会弹琴吗

最新推荐文章于 2025-04-13 21:07:45 发布

阅读量1.1k

点赞数

本文链接：https://blog.csdn.net/weixin_45568353/article/details/105749829

版权

通过学习，现在进行爬虫实战，尝试爬取淘宝商品页面但遇到反扒机制。接着转向爬取微博数据，以迪丽热巴的微博为例，处理动态网址并获取视频和标题。数据存储为csv文件，还展示了如何获取发布内容、日期和来源。总结了爬虫的基本步骤：分析网页、发送请求、解析数据和保存结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过前面三天的学习。我们现在应该对爬虫有所了解。接下来，我们将从几个项目实战来练手。

回顾爬取淘宝商品页面——通过驱动来实现

def search_product(key):
    driver.find_element_by_id('q').send_keys(key)
    driver.find_element_by_class_name('btn-search').click()

def get_product():
    divs=driver.find_elements_by_xpath('//div[@class="items"]/div[@class="item J_MouserOnverReq  "]')
    for div in divs:
        info=div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text    #商品的名称
        price = div.find_element_by_xpath('.//strong').text  + "元"      #商品的价格
        deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text   #付款人数
        name = div.find_element_by_xpath('.//div[@class="shop"]/a').text     #店铺名字
        print(info,price,deal,name,sep='|')

def main():
    search_product('机器学习实战'