半自动抓取知乎用户的微博地址(python)(1)

本文介绍了使用Python爬虫抓取知乎用户微博地址的过程,通过解析用户信息页,利用正则表达式和BeautifulSoup提取数据。由于动态网页的限制,只能抓取部分用户信息,探讨了后续解决动态网页解析的可能方法。
摘要由CSDN通过智能技术生成

最早的起因是有一次想看看一个微博好友是否在知乎上,但知乎提供了通往微博的接口,而微博没有反向的接口,所以无异于大海捞针,故而作罢。

最近学习python,学了点爬虫,忽然又想起这茬事儿,就想能否写个程序把一些用户的用户名微博地址(如果有的话)记录下来呢?那我到时候只要搜索微博地址就行了。那我想先模拟登录知乎,然后在爬取用户信息页就好了,但模拟登录就给我带来了巨大的挫败……但我发现其实不登录也能查看用户信息页,它的形式为“http://www.zhihu.com/people/用户名”,于是查看其源代码,发现有对应微博地址的内容。



那我解析这个网页然后用正则表达式就可以获取微博地址啦~顺带还可以获取用户名以便对应。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值