![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 74
heart_6662
人生舞台的大幕随时都可能拉开,关键是你愿意表演,还是选择躲避
展开
-
爬虫——scrapy框架
流程:新建项目-》进入项目-》新建爬虫文件-》明确抓取的内容,写item-》写爬虫程序,爬取数据-》交给管道处理数据-》调整全局配置setting-》执行爬虫程序,可以通过终端或者在程序里写一个run程序...原创 2021-12-04 22:11:38 · 1219 阅读 · 0 评论 -
异步爬虫基本概念和操作
目录1)概念:2)异步爬虫之多线程为相关阻塞操作开线程第一种第二种第三种完整代码:3)进程池&线程池4)多线程多进程5)使用 aiohttp1. 普通发请求2. 添加请求参数3. 请求头中自定义User-Agent4. 请求头中自定义cookies1)概念:爬虫是 IO 密集型任务,比如如果我们使用 requests 库来爬取某个站点的话,发出一个请求之后,程序必须要等待网站返回响应之后才能接着运行,而在等待响应的过程中,整个爬虫程原创 2021-12-03 23:33:38 · 1084 阅读 · 2 评论 -
爬虫学习打卡第一天-jupyter安装配置
##首先感谢川川大佬提携我我这个菜鸟先是下载(网站)https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/问题一:电脑下载anaconda过慢 (一开始没看到镜像链接,去官网下载)还是推荐在上面网站下载(emmmmm我日常眼盲)我的解决方案:在手机上下好,利用QQ传到电脑(不知道当时怎么想的)后来看到川川给的网站(在另外一部电脑上试的)没问题按照步骤点击后自动跳转jupyter或者我还.原创 2021-11-10 00:34:06 · 880 阅读 · 1 评论 -
爬虫学习打卡第二天——requests基础
学习目标:掌握基本requests知识,爬虫图虫网学习内容:1.requests模块安装2.get 请求3.params(请求头)获取cookie4.json转换5.知乎爬取+反扒技术6.抓取二进制数据 例子1.爬取我自己的头像 2.美女照片7.POST 请求(数据表单提交 添加请求头 提交json 普通文件上传)学习产出:1.requests模块安装之前在终端pipx下载过问题:pip install requests与!...原创 2021-11-12 12:44:26 · 722 阅读 · 4 评论 -
爬虫学习打卡第三天——requests高阶
目录1.SSL验证目录1.SSL验证3.超时设置原创 2021-11-13 22:46:50 · 4288 阅读 · 1 评论 -
关于urllib
目录介绍:1)打开网址请求我自己的博客,我的博客为qq_62932195的博客_heart_6662_CSDN博客查看状态status函数2)超时设置异常检测3)更深请求请求头添加(UA伪装)4)链接解析1.urlparse2.urlunparse3.urlsplit4.urlunsplit()5.urljoin6.urlencode7.parse_qs9.quote(发言!)10.unquote5)...原创 2021-11-23 21:48:49 · 12124 阅读 · 8 评论