【重构Hue】大数据处理的一些总结

---

title: 【重构Hue】大数据处理的一些总结
date: 2017-12-27
categories:

• 技术
  tags:
• PHP
• 大数据

---

最近做了一个项目，是重构大数据开源查询工具Hue。在这里记下一些重构过程中遇到的问题以及解决思路。

首先，感谢Hue为我们带来如此便利好用的工具。重构的目的只是为了在原来的基础上添加一些额外的功能，比如基于数据库的权限控制、离线导出任务等等。

使用技术栈

依旧是熟悉的Laravel+Vue，框架细节不多说，结合业务来看。

功能

原来Hue有的基本查询、历史查询等等都有，加上我们新增的权限控制、数据导出、离线任务。

过程以及遇到一些有趣的问题

数据库数据表怎么拿？
权限控制怎么做？
切库怎么切？
离线任务是啥？需要哪些东西？
大数据下载需要注意哪些问题？为什么内存会爆了？
为什么Laravel的Excel服务搞不定大数据？解决办法是什么？
浏览器下载文件是怎么做的？最佳实践是什么？
…

数据库数据表怎么拿？

这问题为什么要拿出来讨论，咋一看似乎没有那么难，很容易找出答案，但是，真的没那么简单。玩MySQL玩多了，知道MySQL有个叫infomation_schema的东西，它是一个信息数据库，默认生成，是一个view。通过这个数据库ÿ