hadoop数据库操作解析及注意事项

1 从mysql读数据到hdfs：

    mapreduce读数据库数据到hdfs使用map读取，连接数和map数对应，读的时候会锁表读取全量数据，此时，其它更新或者写入操作就会处于等待状态。所以读的数据库尽量不能为主库，而是用从库，主库主要负责写，从库主要负责读。若锁表读取主库全量数据，其它业务操作就会处于等待状态。

2 从hdfs写入数据到mysql：

    mapreduce从hdfs写数据到数据库，连接数对应reduce数据量。刚开始将hdfs数据读到数据库机器的内存中，最后通过事物将内存中所有数据写入到数据库。

转载于:https://my.oschina.net/mkh/blog/309292