- 博客(6)
- 收藏
- 关注
RSS订阅原创 Web全栈项目：网站后台管理系统
网站的文章栏目需要由管理人员进行日常的增、删、改操作以实现文章内容的不断更新和文章质量的保证，管理系统需要有登录界面和管理界面两个部分；管理人员通过预设的用户名和密码登入管理系统，在管理系统对应栏目的可视化界面完成文章相关的操作。
2024-08-03 22:03:50
1317
原创 获取起点中文网[V][I][P]资源到本地
起点网对付费资源采取动态加载的方式，非订阅用户无法靠伪装标头等手段从服务器请求到资源，但订阅用户可以利用找到的解密算法把文章获取到本地，网站的解密算法可能出现迭代，本文仅提供相关思路，更多具体做法可根据js逆向知识和实际抓包分析得出。
2024-06-24 18:14:19
1682
原创 用Python快速爬取“动态加载”的媒体资源
众所周知，现在主流电影网站的许多电影都被设置了“vip限制”，同时通过传统的爬虫在目标网站直接获取媒体资源的可行性较低；首先我们要知道一点，对此类资源的解析并不是直接对目标网站进行操作而是要借助第三方平台提供的接口；所以可以总结出实现资源获取的思路，在循环中请求这些ts文件的链接并将所以ts文件按顺序存储在一个文件夹中，最后将所以ts文件合成完整的mp4文件。我们筛选出构成完整媒体文件的ts文件，可以观察到不同ts文件的链接间尾数依次递增“1”，访问方法为“get"首先导入所需的python模块。
2024-06-17 01:21:36
488
原创 Python爬虫案例：从某居网爬取房源信息
之后编写爬取房源价格、面积、地点、对应链接的逻辑：首先通过填充占位符得到正确的url 并解析，通过find、find_all语句获取包含目标数据的所有大标签并存入一个元组，遍历该元组并获取每一个大标签的目标数据（在遇到class、id相同的兄弟标签时用.contents方法获取其父母的所有儿子再用索引获取目标标签）然后根据目标网页构建相应范围的循环，我们的目标网站url尾数从13-15且每个价格区间的网站有不知数目的若干分页，在遍历分页时用while循环和try语句以便在分页结束时跳出循环。
2024-06-16 11:25:10
697
原创 Python爬虫案例：获取网页动态加载的数据
我们在日常抓取网页中的数据时经常会遇到“分页”的情况，为了能抓取网站上不同分页的内容通常会通过循环遍历这些“特征序号”来访问对应网页分页；在切换分页时观察url并未发生变化，即可知不能通过遍历特征序号进行操作；此时打开控制台的“网络”页，再点击不同的分页按钮时观察到加载了一个“query"开头的文件，双击该文件再选择预览项可发现此文件包含网页分页的内容，此时考虑如何爬取这些数据。但在其它的一些网页的表单分页数据的加载方式与上述不同，网页会在你选择不同的分页按钮后动态加载对应的数据。
2024-06-15 00:10:39
1134
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人