【python奇技淫巧】手把手教学,不用敲代码也可以入坑爬虫

背景

本文将以雪球网为例,教你快速爬取你要的数据。不论是不懂爬虫的python玩家、还是刚入坑爬虫新人,下面这方法都可大大提升一些简单爬虫的开发效率。大佬就见笑了。
另,如下方法,仅对无过多反爬机制的网页有效。

流程

1、进入你想要爬取的网页,找个空白的地方,右键->“检查”。然后如下面流程,找到我们需要的接口。一般来说,像这种网页类似于Excel结构的数据,一般都是采用动态加载,可使用此方法。
在这里插入图片描述
2、选择需要的接口,如下图,copy as cURL。
在这里插入图片描述

3、可以粘贴到Terminal中看看(红框部分),其实就是个curl命令,可以用来发送一些url请求,有点像python中的requests动作。这里可以在本地的Terminal中执行。如果是window的话,有copy as cURL(cmd)的选项,复制完去cmd窗口执行也一样。下面部分就是请求的结果,即我们需要的数据。

在这里插入图片描述

4、神器: curl转化成python语法链接:代码转换链接。如下图,复制粘贴,就可以生成了我们需要的python代码,太无敌了。

在这里插入图片描述

5、将生成的代码复制到编译器,可修改data里面的参数,再执行,就能以json的形式,获得我们需要的数据。
在这里插入图片描述

至此,over!

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值