学python必会英语单词_非常适合新手的一个Python爬虫项目: 打造一个英文词汇量测试脚本!...

最近朋友在苦学英文,但是又不知道自己学的怎么样了,直到有一天,他找到了扇贝网,里面有个“评估你的单词量”功能非常的好,就推荐给我了!

AAffA0nNPuCLAAAAAElFTkSuQmCC

今天我们就用python做一个小的爬虫,然后自己写一个脚本来实现这个功能吧!

目标:打造一个英文词汇量测试脚本

url:扇贝网

工具:python3.6、pycharm、requests库

思路:

和网页一样,总共分三步:

AAffA0nNPuCLAAAAAElFTkSuQmCC

先来看看网页中数据,用F12开发者工具抓包就可以

为了更好的演示,这里网页缩小了。

AAffA0nNPuCLAAAAAElFTkSuQmCC

点击开始,在来看看出现了什么

AAffA0nNPuCLAAAAAElFTkSuQmCC

这里我们抓到了一个包,这个json数据中包含了所有的类别或者说是级别,一共十大类,我们点击”响应”验证下

AAffA0nNPuCLAAAAAElFTkSuQmCC

可以看到,显示内容在我们抓到的json数据中,但是0和1中的内容有的一样,有的不一样是什么鬼?不要急,我们先选择‘高考’,在抓下包看看

AAffA0nNPuCLAAAAAElFTkSuQmCC

选择高考后,网页直接给出了第二步,50个单词选择,注意,先看下抓到的json数据的真实地址

AAffA0nNPuCLAAAAAElFTkSuQmCC

还记得我们在第一步抓到的包吗?0里面就是这个真实地址最后的category的值,1里面是对应的显示在网页中的内容,好了,第二步的真实url也被我们找到规律了,那下来就是分析单词了,看看有什么规律,我们点开一个看看

AAffA0nNPuCLAAAAAElFTkSuQmCC

有几个值非常重要,也是我们的目标:

Content的值是显示的单词

Definition_choices是需要我们判断的多个词义,中间包含有正确的词义,每个词义中的rank值应该是该词义的标识

rank值是正确的词义,也由此判断上述多个词义中的正确词义

ok,到这里我们就可以开始写代码了,具体过程就不一一说明了,没有反爬,全部是json数据的读取和判断,先放上我的代码和运行效果

AAffA0nNPuCLAAAAAElFTkSuQmCC

请大家忽略我那渣渣的英语水平和排版

AAffA0nNPuCLAAAAAElFTkSuQmCC

由于这个网站非常简单,仅仅抓包就可以得到所有数据,没有任何反爬,所以,也是我们新手练手的好地方,大家都可以试试,如果有作出更漂亮的脚本,欢迎大家在评论区一起分享!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值