sse爬取的记录

本文讲述了作者一年多未写代码后重拾爬虫项目的过程,遇到反爬问题,先试Selenium未果,转向JavaScript解决问题。还提到从Mac转到Win10带来的不便,以及在编程中遇到的jsonCallback问题的解决过程。
摘要由CSDN通过智能技术生成

一年多没写代码了,非常生疏。这两天开始写一个sse爬虫,其实挺简单的,但犯错好多,记录一下。

  1. 反爬。直接requests无法获得网页源代码,弄了半天selenium也没成功。就没好好学习过selenium,觉得没必要,看来还是要扩充知识面。
  2. 转向最熟悉的js,很快找到,但要爬取多个页面,看到url就打了退堂鼓,事实证明还是要多尝试。
  3. 以前一直用mac,最近改用win。mac写代码还是方便很多,但除了写代码,其它都不太行。。
  4. 原来这台surface装的是win10 家庭版,没有组策略,卒。
  5. jsonCallBack+随机数,因为这个参数一直显示error,正准备认真看js源码在程序里复现,直到在知乎看到一个帖子说,可以直接不生成这个参数,exm??居然真的可以omg
  6. 至此,基本没问题了,就还是很丑。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值