使用八爪鱼工具爬取京东当前所有手机信息存入mysql

本文介绍了使用八爪鱼工具爬取京东手机信息时遇到的连接MySQL和数据导入问题及解决方案。由于八爪鱼与MySQL版本不兼容,作者手动调整了数据库设置,并解决了数据异常问题。最后,因八爪鱼自定义采集模式速度慢且费用昂贵,作者决定转向编写Python爬虫作为替代方案。
摘要由CSDN通过智能技术生成

背景

市面上有许多现成的爬取网络数据的工具,在此介绍10种工具国内外十大主流数据挖掘工具,其中八爪鱼是对小白比较友好的,具体的教程官网都有
在这里插入图片描述

问题

  1. 无法连接mysql
    【解决】:八爪鱼8.0(当前最新),只兼容5.x版本的mysql,而自己安装的是最新8.0的mysql,所以无法连接在这里插入图片描述
  2. 导出数据异常
    【解决】:关于导入数据库异常的问题汇总里面有很多解决方案,但还有一些是需要自己解决的,比如table中的元素字符长度一定要足够长,我是直接定义了1000长度的。在这里插入图片描述我还遇到一个问题是说缺少default values的,好像后来把id项的AI勾选就可以了
  3. 自定义的采集模式很慢
    【解决】:只能充钱解决了,不过真的太贵了,所以决定自己写个python爬虫,下篇更新
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值