一年多没写代码了,非常生疏。这两天开始写一个sse爬虫,其实挺简单的,但犯错好多,记录一下。
- 反爬。直接requests无法获得网页源代码,弄了半天selenium也没成功。就没好好学习过selenium,觉得没必要,看来还是要扩充知识面。
- 转向最熟悉的js,很快找到,但要爬取多个页面,看到url就打了退堂鼓,事实证明还是要多尝试。
- 以前一直用mac,最近改用win。mac写代码还是方便很多,但除了写代码,其它都不太行。。
- 原来这台surface装的是win10 家庭版,没有组策略,卒。
- jsonCallBack+随机数,因为这个参数一直显示error,正准备认真看js源码在程序里复现,直到在知乎看到一个帖子说,可以直接不生成这个参数,exm??居然真的可以omg
- 至此,基本没问题了,就还是很丑。