当数据中含有图片视频等数据时一定按要将此类文件与文本数据进行分开操作,不要一起操作,会严重影响数据的存贮效率,分开后数据在质量还是速度上大幅度提升,减少容错率和时间。建立连接池与批量操作,减少与数据库的连接,可以大大提升数据库性能,减少宕机风险。
使用python进行数据抓取的时候注意事项
最新推荐文章于 2023-05-05 23:18:34 发布
当数据中含有图片视频等数据时一定按要将此类文件与文本数据进行分开操作,不要一起操作,会严重影响数据的存贮效率,分开后数据在质量还是速度上大幅度提升,减少容错率和时间。建立连接池与批量操作,减少与数据库的连接,可以大大提升数据库性能,减少宕机风险。