![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网络爬虫
晨晓翔同学
阿宸想学渗透
展开
-
关于urllib.request.urlretrieve卡死的问题(python爬虫)
今晚本来打算刷题的,但是舍友让我给他做一个爬虫(因为快要考试了嘛)。然后其他的爬文字的都还好,但是在爬图片的时候,明明图片的url都没有错,但是20个图片爬到了5个就报错了,显示了一大堆raise HTTPError(req.full_url, code, msg, hdrs, fp)本来以为是我的问题,然后找了很久(TMD),也查了很多的资料,找不到解答,最后干脆用了另一种方法才做出来。最后查了一查,urllib.request.urlretrieve数据少还好数据多了就容易卡死。(但是之前爬的别的也原创 2021-12-01 23:33:23 · 1641 阅读 · 3 评论 -
平平无奇的P图高手(python Image)
今天刷着刷着csdn就看到一个python的图像处理就点开了才发现是来叫我怎么P图,然后感兴趣就看了看,感觉挺好玩的,回宿舍就开始敲代码,反正就是瞎折腾。看代码吧!# -*- coding: utf-8 -*-"""Created on %(date)s@author: %(Yunsheng Song)s"""import requests,pandas,timeimport urllib.request #图像合成 图像滤镜 图像色原创 2021-11-19 23:43:40 · 1970 阅读 · 4 评论 -
爬虫selenium(edge屋头浏览器+规避检测风险)
edge的无头浏览器代码真的是太难找了,全都是谷歌的,最后终于被我找到了,也不管他啥意思了,黏贴上就完事了。Python的库真的是太多了。每一个方法感觉都要用一个库。也怪不得说简单呢,就是学起来麻烦。吐槽完了代码在下面from selenium import webdriverfrom msedge.selenium_tools import EdgeOptionsfrom msedge.selenium_tools import Edgeedge_options = EdgeOptions()原创 2021-11-10 15:01:40 · 3292 阅读 · 6 评论 -
爬虫案例——模拟登录QQ空间
学了2个多月的爬虫了,终于找到一点儿好玩的东西可以写一写。模拟登录QQ空间,完成这个的要求:首先需要下载库selenium,这个在anaconda中是没有的,需要下载。(在这就不说怎么下载了)其次就是下载某某浏览器的驱动程序(这个其实也好下载,就是在配置的时候容易出错,如果出错去网上搜索就能够找到好的解决方法,读者自行解决)完成这个之后就是代码的书写了大致思路:其实也没有啥大致的思路,这不和算法似的要想,就是了解selenium库,定位到某个标签,进行输入或者点击操作就可以了。代码奉上:#原创 2021-11-03 14:38:04 · 622 阅读 · 2 评论