huiye_2017的博客

原创 如何批量处理大数据量数据库历史数据

如何批量处理大数据量数据库历史数据 如何批量处理大数据量数据库历史数据，多线程生产者消费者模式，毒丸法关闭消费者线程 最近，在写项目的时候，遇到这样一个需求，即对有大数据量表的历史数据替换数据需求，这张表有790万条数据，大小有80个G 有一个字段是text类型的json字符串其结构是这样的： [ { "note": "", "material": "201CRC", "port": "九江港，三水港", "price": "1000", "selectNote": [], "ra