- 博客(3)
- 收藏
- 关注
RSS订阅原创 爬虫爬取有道翻译scrapy
提一句，感觉scrapy真好用，共享配置省去了一大堆的重复代码，对于一大堆的url也可以简单写程序了。在myproject目录下创建名为youdao的scrapy项目。创建一个可以爬取xx.com的标准爬虫模板，爬虫名为spider1。结果如下图，爬虫名spider1，对响应的处理在方法parse中进行，也就是数据的提取。目标：利用scrapy框架，爬取有道翻译内容，做一个前端实现交互。在spider1中，将url填入start_urls，修改域名。利用命令：cd D:\***\***。
2025-11-28 21:17:18
843
原创 爬虫学习笔记1——有道翻译
第一个的响应是什么暂时不知道，但是其携带的参数中没有“我需要翻译”推断不是我们想要的。第二个从名字上讲webtranslate指网页翻译，携带参数也有“我需要翻译”，但是响应内容是一串乱码，根据经验这应该就是我们要找的数据包（被加密了）。第三个的响应是“未登录，请先登录”排除。第四个响应是一些杂七杂八无关类似请求参数的东西排除。所以，推测是第二个数据包。我们在抓包的时候可以看出有4个值得注意的数据包。利用有道翻译在python中翻译中文。
2025-11-19 12:50:13
155
原创 【爬虫】爬虫技术（python）-学习笔记0
目前的公开网络爬虫技术基本都是20年及以前，如今快26年了，网站的编写风格变了，比如百度翻译，同时一些库也更新了，比如moviepy。但是教学却依旧是老版的，这也在我的学习过程中造成了很多的困扰，所以希望我的学习笔记可以帮助后来者少走些弯路。学习笔记以案例为主，要用到的模块为辅，不讲python基础语法和爬虫基础。叠甲：我是个自学的新手，新手，新手。
2025-11-18 15:45:12
792
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人