使用八爪鱼工具爬取京东当前所有手机信息存入mysql

最新推荐文章于 2023-09-15 14:09:56 发布

小川爱分享

最新推荐文章于 2023-09-15 14:09:56 发布

阅读量1.1k

点赞数

分类专栏：采集京东商品信息文章标签：八爪鱼爬虫采集京东商品信息 mysql

本文链接：https://blog.csdn.net/weixin_43915879/article/details/102831970

版权

本文介绍了使用八爪鱼工具爬取京东手机信息时遇到的连接MySQL和数据导入问题及解决方案。由于八爪鱼与MySQL版本不兼容，作者手动调整了数据库设置，并解决了数据异常问题。最后，因八爪鱼自定义采集模式速度慢且费用昂贵，作者决定转向编写Python爬虫作为替代方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

市面上有许多现成的爬取网络数据的工具，在此介绍10种工具国内外十大主流数据挖掘工具，其中八爪鱼是对小白比较友好的，具体的教程官网都有
在这里插入图片描述

无法连接mysql
【解决】：八爪鱼8.0（当前最新），只兼容5.x版本的mysql，而自己安装的是最新8.0的mysql，所以无法连接
导出数据异常
【解决】：关于导入数据库异常的问题汇总里面有很多解决方案，但还有一些是需要自己解决的，比如table中的元素字符长度一定要足够长，我是直接定义了1000长度的。我还遇到一个问题是说缺少default values的，好像后来把id项的AI勾选就可以了
自定义的采集模式很慢
【解决】：只能充钱解决了，不过真的太贵了，所以决定自己写个python爬虫，下篇更新