大数据相关

一、问题：
1、海量数据实时快速查询与展示
2、预测与分析
3、预警与智能


二、解决过程：
1、研究大数据实现海量数据快速查询
2、查找可用开源产品提取借鉴
3、设计前端数据展现方式
4、前后端衔接形成产品


三、解决方案：
1、查找可用资源
2、分析实际业务
3、设计与实现产品


四、资源分析
1、数据分类
1.1、结构化数据：表、记录等
1.2、非结构化数据：图片、视频等


2、计算方式
1.1、流式计算
1.2、非流式计算


3、数据来源：
1.1、关系收据库：oracle、mysql、sqlserver、db2等
1.2、非关系数据库：redis、hbase、mongdb、neo4j、orientdb等
1.3、文件系统：nas、jackrabbit、ftp等
1.4、文件：office、txt、xml、log等
1.5、其他：视频、音频、图片等


4、大数据基础架构
1、hdoop
2、spark


5、相关数据处理软件
hbase、hive、pig、sqoop、flume、storm、hue、oozie、zookeeper、kafka、shark、
mahout、Cassandra、impala、whirr、cascading、stinger、chukwa、accumulo、drill、phoenix、avro、tez、pentaho etl等


6、监控运维
ganglia、nagios、ambari、cloudera


7、涉及语言
java、python、scala、C等


8、全文检索
elasticsearch、solr


9、复杂数据源分析工具
olap4j、Mondrian、kylin


10、文件存储
jackrabbit等


11、缓存
hazelcast、redis、memcache等


12、前端看板参考
superset、saiku、hue等