[python]知乎用户头像爬虫

本文介绍了一个使用Python编写的简单爬虫,该爬虫登录知乎个人中心,通过关注者列表抓取并下载了大量的用户头像。首先分析了网页结构,找到了img和a标签的位置,接着模拟登录,利用cookie信息和requests库遍历用户链接,最后使用BeautifulSoup解析页面,保存头像至本地。
摘要由CSDN通过智能技术生成

这是一个简单的python小爬虫,登录本人知乎的个人中心,通过关注者即可实现爬虫在页面间的连接,先看看爬取的效果,虽然简单却挺有趣:

 

(我只截取了一部分图片,总的图片在5K张左右,如果需要还可以爬取更多)

  然后我来分析一下爬虫的设计过程:

  • 通过分析知乎网页的源代码标签,找到用户块的img标签以及a标签的位置和对应关系
  • 通过携带已知cookie模拟登录网站
  • 通过用户间互相关注的属性进行链接的跳转,并将爬取到的所有链接存放至列表
  •  遍历列表,将用户名与头像属性一一对应,并下载到本地
    • over
    第一步很简单,按crtl + U就可以跳出当前网站的代码,分析可知用户关注者的信息都在

    <a title = "..."  

    data-tip = "..." 

     class = "..." 

     href = "...">

    <img src = "..." class = "...">

    </a>

    的a标签中,并且可以看到a标签的class属性都为"zm-item-link-avatar",头像图片所在的img标签class属性都为

    评论 1
    添加红包

    请填写红包祝福语或标题

    红包个数最小为10个

    红包金额最低5元

    当前余额3.43前往充值 >
    需支付:10.00
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明:

    1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

    余额充值