爬虫学习规划复盘

最新推荐文章于 2024-10-20 14:54:33 发布

ZSYi666

最新推荐文章于 2024-10-20 14:54:33 发布

阅读量483

点赞数

分类专栏：暑期实践爬虫文章标签：爬虫学习

本文链接：https://blog.csdn.net/ZSYi666/article/details/132009865

版权

暑期实践同时被 2 个专栏收录

33 篇文章 0 订阅

订阅专栏

爬虫

10 篇文章 0 订阅

订阅专栏

1.基础入门

学习python基础语法结构和数据结构，掌握变量，条件语句和循环等基本概念
理解HTTP协议和HTML基础知识
了解网页结构和标签作用

2.爬取静态网页数据

使用python的requests库发送HTTP请求，获取网页内容
掌握正则表达式或BeautifulSoup库解析网页、提取所需数据
实践爬取网页上的文本、图片等信息

3.爬取动态网页数据

使用selenium库模拟浏览器操作，加载动态生成的网页内容
掌握xpath或css选择器定位网页元素，提取动态生成的数据
实践爬取动态网页上AJAX加载数据，JavaScript渲染数据

4.练习与优化

在基本了解爬虫知识后，进行实操演练

完成暑期项目（三个小项目，一个大项目）

5.努力方向

开始复盘python的基础知识，以及爬虫相关知识，最后两周侧重实践，为暑期项目实现作准备

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ZSYi666

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

3年已过，你知道这些目标网站，过去是如何被爬的吗？爬虫100例复盘5

梦想橡皮擦，专栏100例写作模式先行者，现象级专栏《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者

08-04

2万+

今日技术复盘，舒服了

《爬虫100例》博客，2022-4-19最新案例复盘清单，已更新56/100例

04-19

2万+

为你更新，5年~

参与评论您还未登录，请先登录后发表或查看评论

【爬虫】-复盘

废弃的诺亚方舟

07-16

120

1.BeautifulSoup库基础及一般元素提取方法

Python Selenium爬虫学习

yonwean的博客

08-16

873

本次复盘针对Selenium抓爬巨量创意账户内巨量千川素材的（1）视频类型（2）音乐类型（3）营销卖点（4）视频情节的点击指数、视频数量指数、具体类型数据并写入excel文档中。本次复盘发现存在一些不足点：（1）未实操解决滑块验证问题【解决方案：采用CV2库进行滑块距离检测】；（2）对爬取的数据没有进行自动化处理，需要人工处理。

爬虫学习(第一天)--------爬取豆瓣小说

2303_79076763的博客

12-01

2079

这篇文章最后的代码呢是作者第一次接触爬虫后写的，如果有错误欢迎大家指正。说一下遇到的困难吧，虽然有些已经记不大清楚了。这篇代码我可以说是写了蛮久的，大概有三四天，我考虑过是否是自己太愚笨，但其实不然。我想除了真的天赋异禀的人之外，大部分人可能都和我一样，会改了又改。写代码过程中呢，xpath的路径卡了我还是蛮久的，因为当时我还不知道可以直接复制，一直在自己写，一直出错。还有就是用函数封装，我个人是先把主体写好，再用函数封装，虽然耗的时间多，但胜在封装的时候不会出错。

爬虫关于CSV写入覆盖问题复盘

小黑同学的博客

11-17

1041

刚开始学习爬虫，发现在写入数据到csv里面时，总是出现覆盖问题。最后经排查，发现必须要将mode由w改为a，w为写入，a为追加。 f = open('new_movie.csv', 'a', encoding='utf-8', newline="") 并且其中newline参数可以有效改善一个数据空一行的情况。在做项目时，发现在写入数据时，有时需要将写入操作嵌套在程序的循环里。为了表头不重复写入，可以在循环体外先打开csv文件，然后实例化csv.writer对象并接着写入表头。最后在循环结束后，写一个c

爬虫学习(第二天)--------爬取安居客十万条数据，并简单可视化

2303_79076763的博客

06-07

1935

怎么说呢，这篇复盘其实已经从上学期快期末的时候开始写，已经过去大几个月，一直拖着没写完，总的来说，做完这个答辩给了我启发以及知识面的拓展，受益良多。但是代码写的太过粗糙了，有待改进。做一下后面的大致计划好了，可以再去巩固线程的知识，然后去学一下异常地抛出，还有数据清洗啥的......写一下作者寒假到大一下学期快结束这期间的感悟吧。作者寒假的时候本来是打算准备蓝桥杯的，包括开学一直到比赛的那段时间，但是由于自身的怠惰，三天打鱼两天晒网，最后想学的东西没学到，还白白浪费了报名费。

《Python爬虫100例》复盘⑦，解决手机APP爬虫环境问题

梦想橡皮擦，专栏100例写作模式先行者，现象级专栏《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者

11-12

1万+

案例 41：Fiddler+夜神模拟器案例 42：爬取儿歌多多APP数据案例 43：百思不得姐APP数据案例 44：Charles安装与使用案例 45：Charles抓取兔儿故事案例 46：Charles抓取手机收音机案例 47：mitmproxy安装与模拟器案例 48：使用mitmdump抓取手机惠农APP 案例 49：Appium安装+操作51JOB_APP

数据处理和拟合模型——学习复盘

m0_73378573的博客

07-24

667

四字总结：万物皆数。为什么这么说呢，其实我们无论是生活中还是学习中的任何东西菊科转化为数据，数据是为了描述与传递信息；而信息的载体是多种多样的，人类能够感知与认知的信息。想必大部分人也了解过人工智能也听说过多模态，那么模态又是什么意思呢？模态包括：数值类数据，例如结构化的excel表格和SQL文件。文本类数据，例如新闻报道、微博评论、餐饮点评等文字。图像类数据，以一定尺寸的黑白或彩色图像在计算机内存储。音频类数据，例如音乐、电话录音等。信号类数据，例如地震波的波形、电磁波信号、脑电信号等。

4.6爬虫的步骤(精简复盘版)

q1017262470的博客

04-10

127

爬虫的步骤(精简复盘版) 爬虫是否违法法不禁止即为许可隐匿自己的身份（商业IP代理）不要被目标网站举证有破坏动产行为尽量遵守爬虫协议（robots.txt）爬虫的分类和作用通用爬虫 —> 搜索引擎定向爬虫 —> 有具体的爬取目标对中小企业来说，数据一定是短板，要么花钱买数据，要么写爬虫国家机器和很多的互联网产品做舆情监控基本也是通过网络爬虫来爬虫怎么写? 抓取页面(requests / aiohttp) response = requests.ge

Python学习的知识复盘（爬虫，字符串，函数调用）

weixin_57523008的博客

10-02

389

python基础学习总结以及网络爬虫的了解

一篇博客，拿下7个爬虫案例，够几天的学习量啦，《爬虫100例》第4篇复盘文章

梦想橡皮擦，专栏100例写作模式先行者，现象级专栏《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者

08-02

2万+

复盘一次，够学一周

时隔3年，摄影网站依旧可用，果然靠谱，Python爬虫100例，第2篇复盘文章

梦想橡皮擦，专栏100例写作模式先行者，现象级专栏《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者

07-22

1万+

复盘4课，可用3课

爬虫+数据保存

最新发布

m0_55297736的博客

10-20

607

这篇文章, 分享如何将爬虫爬到的数据, 保存到excel表格当中。

使用 Python 爬虫批量下载百度图片的详细教程

专注AI大模型,软件混淆,授权

10-13

1066

访问百度图片的搜索结果页面。分析网页结构，找到图片的 URL 地址。解析并提取图片链接。下载并保存图片到本地。

Java爬虫：获取商品评论数据的高效工具

2401_87849335的博客

10-18

830

Java爬虫API为获取商品评论数据提供了一种高效、灵活的方法。通过使用Java的强大库支持和稳健的性能，您可以轻松地从各种API中获取所需的数据，从而为电商运营提供数据支持，优化客户服务，制定精准的营销策略。这不仅提高了运营效率，也为消费者提供了更好的购物体验。随着技术的不断进步，掌握如何合法合规地获取和利用数据，将成为电商成功的关键。Java爬虫API的灵活性和强大功能，使其成为获取商品评论数据的理想工具。

【爬虫】如何将A站视频下载并合成一个完整的视频

lfsysc的博客

10-09

1141

open(f"ts视频集/{f_number}.ts","wb").write(res.content)video= VideoFileClip(f"ts视频集/{f_num}.ts")final.write_videofile("最终视频.mp4")

什么是爬虫？

m0_52796585的博客

10-16

887

爬虫（Web Crawler）是自动化程序，用于自动访问网页并抓取网页数据。爬虫可以系统性地从一个或多个网站收集数据，并将其用于多种目的，例如搜索引擎索引、数据分析、市场研究等。常见的爬虫工具如Googlebot会抓取网页内容并存储到搜索引擎的数据库中，以便用户搜索时快速显示相关信息。

抓取指定网站上的所有图片的Python脚本

这家伙很懒，什么都没有留下

10-16

775

网络爬虫（Web Crawler）是一种自动提取网页信息的程序，它可以从互联网上抓取数据并存储到本地或数据库中。网络爬虫的工作原理是通过生成URL种子列表，不断访问和下载网页内容，经过处理后存储到数据库中。网络爬虫的类型主要包括通用网络爬虫、聚焦网络爬虫和增量式网络爬虫。中文分词技术在网络爬虫中的应用主要是对抓取的文本数据进行有效的分词处理，以便于后续的信息检索和数据分析。本文详细介绍了如何使用Python编写一个脚本来自动抓取指定网站上的所有图片，并深入探讨了相关的技术细节和实现原理。