文章快速批量自动发布数据库

本地或采集的文章数据,怎么快速批量发送到指定的网站呢?

没有发布数据的插件或接口,还有别的什么的方法吗?

答案是有的,可以用发送到数据库的方式,且适用于大部分网站!

发布到数据库主要是:把采集的文章直接传输到数据库,然后写入到数据库中,一般是指MySQL数据库。

发布到数据库方式非常通用灵活,适用于大部分网站的,也可以用于自己开发的系统。

但是需要技术人员来配置,因需要设置开放数据库的权限和映射哪些数据库的字段配置,需要懂数据库的基础知识。

接下来我们来演示下怎么自动发布数据到数据库:

一、创建目标:

  进入简数采集器控制台,打开某一个任务,进入采集任务管理页面,找到【目标管理】 ==》然后点击【+数据库配置】,再在【数据库配置】中填选数据库基本信息,最后保存下一步,如下图:

需要注意的是:

  • 数据库如果成功连接,相应的数据库名和数据库表就可以直接从下拉项中选择,没有选项的说明连接失败,也不支持填写只支持选择;
  • 数据库连接失败,大概率是数据库用户访问权限设置问题导致的,可以从此问题先开始排除;

二、数据库对应字段设置:

  数据库的基本信息配置完成后,继续设置第二步【添加表字段及与抓取字段映射 】,已选数据库表中的全部字段都会被列出可以选择,需要在来源1选择映射采集抓取的参数,或者来源2填写固定值(参数值来源1和来源2,2选1,来源1优先生效),最后记得保存;

  提示:

        - 有些字段可以被忽略的,有些是必须的,必须的字段没设置将无法发送成功;

        - id一般是自增字段,可以不设置,如果发布失败请尝试删除掉;

        - 时间字段特别注意格式问题,错误的格式会导致发布失败的;

三、数据发送传输到数据库:

  进入要发送数据的任务管理页面,点击结果数据】选项卡,在数据列表选中一条或多条数据,点击【数据发送】按钮,弹出选择发送目标的窗口;

选择对应的数据库发送目标,点击【发送】按钮开始发送。

自动发送则在自动化配置页面设置,设置完成后启动任务采集,采集完成后系统会自动发送数据库的,十分方便。

四、常见问题:

  1. 数据库连接失败,请检查数据库用户访问权限设置,可以用Navicat软件辅助查找问题;

  2. 数据库字段ID如果是自增长的,请删除ID的映射行,否则可能会发送失败的;

  3. 如果发送失败,请检查数据库表字段字符类型,目前仅支持字符串和整型字段的映射发送(特别注意需要映射日期字段,需要将数据表中对应字段改成字符串类型);

  4. 注意长度等限制,请检查数据库字段长度是否可以满足插入的采集内容长度;

  5. 发送失败,如果是发送到阿里云数据库等有安全防护的服务器,需将发送的服务器IP添加到白名单;

  6. 发送失败还可能是数据库字符集问题,某些特殊字符是4个字节,而 mysql 的utf8编码最多3个字节,所以数据插不进去,解决方法可参考该文章更改MySQL数据库的编码为utf8mb4,注意备份;

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值