爬虫分享
喜欢玩有意思的事情
喜欢玩有意思的事情
展开
-
《golang日记》记录一下session的实现
前段时间重装了一下系统,原先的配置都无了,昨天写爬虫的时候,发现我的cclient不能实现session功能了,然后就满大街的找session功能的实现,结果发现搜到的全都是自己搭建结构体实现session功能的帖子,实际上不用这么麻烦的啊。关于cclient,这里做一下说明,像我这种懒狗就懒得老是自己去写tls层的连接内容,就直接调用别人写好的了,也就是cclient,github上有,要想直接实现session功能直接往client配置里面添加一个cookiejar就好了,没必要像别人那样专门自己用结原创 2021-07-09 07:22:05 · 321 阅读 · 0 评论 -
《爬虫日记》谈谈Ni** Akamai
不知不觉,离我刚开始接触爬虫已经过去了两个多月了,之前写的某视频网站的爬虫文章被举报了,本来是抱着一个学习目的分享的东西,反正是有些不能理解吧最近一直研究如何攻破Akamai,在一位大佬的帮助下,现在也是稍微有一点成果,但是也还在继续改进。这里我顺便提一句,觉得自己js逆向学的好的,还想要继续变强的,可以研究一下风控圈了,如果是做网页爬虫的,关于web协议,也就是网络层面的东西,真的需要花很多时间去了解和研究。下面我将用图文展示一下我研究Akamai指纹算法的一些记录。(关于指纹记录的代码,需要自己去网站原创 2020-11-16 07:45:51 · 4027 阅读 · 3 评论 -
《爬虫日记》谈谈session和cookie
我好像好久没有更新博客了,最近一直在肝代码和恶补网络方面的知识,国庆顺便提前体验了一下996的生活,其实没更新的原因很简单,不知道更新啥,js逆向现在到处都能找到,我自己也觉得没意思,后面想了想,可以跟大伙说说我自己在开发过程中遇到的一些问题,希望可以减少大家要走的弯路。(如果只是做简单的爬取内容的爬虫,下面的内容可能对你来说没有啥用)关于session功能讨论最多的其实是cookie层面的应用,在做请求登录的时候,session会对cookie值进行更新,也就是会更新set-cookie的内容,还有写在原创 2020-10-19 07:56:16 · 294 阅读 · 2 评论