爬虫学习笔记
文章平均质量分 77
用于个人学习爬虫时记录相关笔记及代码
叫我小兔子
就喜欢玩儿
展开
-
爬虫练手项目_表情包爬取
表情包爬取确定目标网站并分析目标网站分析代码确定目标网站并分析目标网站斗图啦: 链接https://www.doutula.com/这个网站也是我聊天斗图时常用的网站之一毕竟不太会说话,只能发图了分析打开网站,搜索关键词<狗头>,发现url变成https://www.doutula.com/search?keyword=狗头然后F12打开开发人员工具发现图片链接就放在标签下面好家伙,这个竟如此简单,那就直接放代码吧代码import osimport re原创 2021-09-24 23:34:34 · 203 阅读 · 0 评论 -
爬虫练手项目2_有道翻译
爬虫练手项目2_有道翻译分析网页开始爬完整代码分析网页打开: 有道翻译链接.翻译一下‘dog’发现url没有变化这时,就需要借助浏览自带的工具来分析请求了F12或点击右键,检查点击network,刷新网页在左侧页面输入翻译cat,发现,多出好几个请求找到translate开头的请求,点击进去,点击preview(预览),可以看到该请求返回的数据,里面正好有我们需要的内容。再点击headers,可以看到请求的url,请求方式post及参数data开始爬将url和data复制原创 2021-09-22 16:58:40 · 102 阅读 · 0 评论 -
爬虫练手项目1_爬取百度贴吧
爬虫练手项目1_爬取百度贴吧前言1、找到对方c位(确定要爬取的目标)2、发起进攻(发送请求)3、进攻敌方水晶(完整代码)victory前言这是我开始学习爬虫时的第一个练手项目,当时是在B站上看到了一些教学视频,觉得还挺有意思的,就决定跟着学学。1、找到对方c位(确定要爬取的目标)要爬取网页,首先需要知道网页的url先用浏览器打开贴吧网页.搜索一下’上海海事大学‘发现链接变成https://tieba.baidu.com/f?ie=utf-8&kw=上海海事大学&fr=sea原创 2021-09-21 22:26:01 · 96 阅读 · 0 评论 -
爬虫练手项目_酷狗音乐爬取
酷狗音乐爬虫前言新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入前言你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markd原创 2021-09-13 16:11:22 · 3070 阅读 · 5 评论