一年多以前就开始玩hadoop
最近才开始真正在周围实践。
首先是分清楚haddop机制: 并行存储。
在此机制上,可以进行并发查询。
非结构化数据,如图片,视频等需要以列式结构上存储,故而有了hbase;
存就是为了用, 故而需要方便查询,所查即所得,故而有了lucence以及solr。
需要高效率搜索,扩展性策略,故用spark来执行各切片。
查询方法的优化,故而有了hive。
有时为了实时解析图片或长数据,故用storm来支撑。
一年多以前就开始玩hadoop
最近才开始真正在周围实践。
首先是分清楚haddop机制: 并行存储。
在此机制上,可以进行并发查询。
非结构化数据,如图片,视频等需要以列式结构上存储,故而有了hbase;
存就是为了用, 故而需要方便查询,所查即所得,故而有了lucence以及solr。
需要高效率搜索,扩展性策略,故用spark来执行各切片。
查询方法的优化,故而有了hive。
有时为了实时解析图片或长数据,故用storm来支撑。