简单写一个python爬虫程序:爬取音乐资源

转自:http://www.baobaoshequ.com/article/4630

运行结果:

第一次运行爬取了40首歌,第一个for循环 for i in range(0,2)把前两页共40首歌全部爬取下来了。

第二次运行爬取了120首歌,我加了一行代码page=int(input("请输入您要爬取的页码:"))第二个for循环 for i in range(0,page),企图爬取所有的音乐,但是在Python自带的IDE无法运行,提示没有ruquests库。后面我把for循环改成for i in range(0,20)企图爬完所有的音乐结果只爬取下来120歌(一共380首),触发了网页的反爬虫机制,无法爬后面的歌了。

第三次运行爬取了40首歌,我引入了random模块把0最后一行time.sleep(0.5)改成a=random.random()(随机生成0-1的数字)\time.sleep(a)这样的两行企图破了网站的反爬虫机制,结果只爬取了40首,还是触发了网站的反爬虫机制。

第四次运行爬取了20首音乐,我调回如图的程序代码,20首后触发了网站的反爬虫机制,在后面我的爬虫就完全失效了。

遇到的问题:

1、我通过pip install ruquests安装了ruquests库为什么不运行程序?我电脑安装了pycharm、python3.7以及anconda最新版本。

2、如何才能不触发网站的反爬虫机制?

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值