这次实战的网站是开发者头条。
主要实现的功能有3个, 批量关注好友,批量收藏文章,批量订阅独家号。
先看关注好友:
网站用户的个人主页:
可以看出,地址路由采用的是最后的id递增。(这在网站开发中很普遍,我猜想这个id也正是他们数据库中的id)。
这样的路由有个致命弱点,通过for循环,直接就能从头扫到尾。
接下来分析,点击关注后,网络请求:
对某个用户关注,只要向https://toutiao.io/u/[用户id]/follow这个地址,提交一个post请求即可,body都不需要带。
所以直接拼凑出最简单的ajax:
$.ajax({
cache: false,
async: false,
type: 'POST',
url: '/u/xxxx/follow',
success: function (data, status) {
ret= "ok";
}
});
最终golang+selenium代码,(登录等基础代码略过,和前两篇文章的代码类似)
//关注最新的用户
func FollowNewUser(wd *webApi.WebDriver, uid int) {
for {
time.Sleep(time.Second*50)
beelog.Debug("start user:%d",uid)
script := fmt.Sprintf(`function test(){
var ret="nok"; $.ajax({
cache: false,
async: false,
type: 'POST',
url: '/u/` + strconv.FormatInt(uid, 10) + `/follow',
success: function (data, status) {
ret= "ok";
}
}); return ret}
return ( test());
`)
ret,_:=wd.GetDriver().ExecuteScript(script, nil);
if reflect.TypeOf(ret)!=reflect.TypeOf("ok"){
continue
}
if ret.(string)=="ok"{
logs.Debug("follow user:%d ok",uid)
uid++
}
}
}
初始uid传入1就行,间隔50毫秒提交一次,很快就能刷到几十万。
接下来订阅号:
原理都差不多,
只需要替换下上面的post提交地址就行。
$.ajax({
cache: false,
async: false,
type: 'POST',
url: '/favorites/subject/` + strconv.FormatInt(sid, 10) + `',
success: function (data, status) {
ret= "ok";
}
});
文章收藏:
一样的原理,就不贴代码了。
总结下这里主要用到了go+selenium的一个用法:
通过分析网络请求,拼凑出js代码,然后调用浏览器执行js。(这就是个人觉得selenium在爬虫运用中最最最变态的)。
除了自己写js,还能直接调用本地代码,也就是网站自己的js。