大数据
文章平均质量分 92
DoDo-Baron
我很简单,简单到无话可说。
展开
-
elasticsearch结合mysql使用
elasticsearch-MySQL1.系统原理要通过elasticsearch实现数据检索,首先要将数据导入elasticsearch,并实现数据源与elasticsearch数据同步.这里使用的数据源是Mysql数据库.目前mysql与elasticsearch常用的同步机制大多是基于插件实现的,常用的插件包括:logstash-input-jdbc,go-mysql-elasticsearch, elasticsearch-jdbc。系统原理: Elasticsearch:一个基于Luc原创 2021-12-22 20:57:23 · 7284 阅读 · 0 评论 -
Elasticsearch教程应用场景
Elasticsearch使用 1.搜索使用 1.1搜索请求的结构体 现在我们已经看到了一些基本知识,让我们尝试一下更加真实的数据集(结构化数据)。我准备了关于金庸先生的小 说的JSON文档样本。每个文档都有以下模式: //样本一 {"title": "射雕英雄传","people": ["郭靖", "黄蓉", "杨康", "穆念慈"],"year": 1962,"text": "该小说历史背景突出,场景纷繁,气势宏伟,具有鲜明的“英雄史诗”风格;在人物创造与情节安排上,原创 2021-12-16 15:47:48 · 2240 阅读 · 0 评论 -
php导出mysql数据表到excel实现(千万级别数据-以自己以前做的订单导出为demo给大家参考)
考虑几个重点:1,服务器承载 2,redis数据缓存避免数据重复导出,3,导出后的数据处理 4,死循环 5,数据大小,限制大变量的出现遇到这样的需求,大家根据自己的需求去处理业务,多方位去考虑程序的可执行性,性能等多方面因素(尽量减少循环中的查询次数)不多说附上代码供大家参考 <?phpclass ReportOrdersExport extends Job i...原创 2018-10-20 16:06:37 · 3766 阅读 · 1 评论 -
php死循环处理大数据(千张表,上亿级别数据)
几个重点,1,文本记录数据落地点,2,死循环断开点 3,防止sql断开连接(MySQL server has gone away)4,防止php超时 5,日志跟踪 6,递归处理数据(业务需求),7,正则匹配数据(业务需求)增强程序的可执行性<?php/** * Created by PhpStorm. * User: Administrator * Date: 2...原创 2018-10-20 15:24:06 · 2247 阅读 · 0 评论