爬虫
Welosthesightof
这个作者很懒,什么都没留下…
展开
-
豆瓣简单模拟登陆
找url找到登陆接口后,用requests.post()请求该网页URL,之后将得到的cookie存入本地。遇到什么问题?参数问题,在requests的post中要用,data。在get中要用params,这个就搞人了。给我感觉cookie的作用。没有cookie,一些网站是不能爬取的,要爬就需要cookie,那么有些网站必须登陆才有对的cookie可以获取。得到cookie后存入本地。这个登陆接口页面的cookie也就是豆瓣主页的需要的cookie,什么时候cookie会变 我也不知道,我退出豆原创 2021-01-30 02:44:32 · 610 阅读 · 0 评论 -
python复习
python复习python基础for循环,while循环,感觉也没学到什么,最多的就是爬虫爬虫爬虫呢学了什么,requests、beautifulsoup、xpath、selenium、urllib能爬的基本上不用cookie,要用代理的,存cookie的我基本上都不熟练。而且也没记。爬的还都是图片,小说,一点点容易爬的视频。那些ip代理,反爬虫,线程池,多线程,脑壳疼。还有大型爬虫,还有数据库,操作数据库。还有ajax动态请求,什么什么鬼啊。django做网站,写html文件,还有什么gi原创 2021-01-18 16:36:46 · 74 阅读 · 0 评论