大数据收集，大数据入库

         当前事务处理还是以关系型数据库为主。数据分析、数据挖掘则需要以大数据的方式存储，以数据仓库的形式分析。

        前几天有个朋友遇到了一个问题，如何定时收集多个交易数据库（oracle、mysql）中的数据到大数据库（hadoop）中。我一直是做关系数据库数据传输的，应用ISFRAME帮他搭建了一个文件缓存的方式。效果很好。

          首先在各个交易数据节点和hadoop节点部署了ISFRAME，并定义数据表到文件的传输。然后编写了一个数据入库程序，定时轮询文件目录，根据文件目录如到HBASE或Hive的数据表中。

 

图 大数据收集1