使用datax-we调用hive数据到mysql8注意事项 datax-web-2.1.2/modules/datax-admin/lib中mysql-connnetion的版本，如果太低，需要更换，mysql-connector-java-8.0.22.jar这是我的jar版本。更换后最好重新启动。datax-web的启动命令;注意：如果原始数据的类型有问题，可以将字段都设置为string和varchar类型。二、确保hive数据表里的字段和MySQL表中的相同，字段类型相对应。datax-web调用hive的数据到mysql8。
【flume采集离线数据到hdfs】 配置文件所在目录：/opt/software/flume/apache-flume-1.9.0-bin/conf/demo.conf。1.flume出错可能需要删除checkpoint的dir下的所有文件。flume采集本地离线数据到hdfs。2.每次执行需要修改还原文件名。
MapReduce的工作流程：map和reduce分别做了哪些工作,以及shuffle机制实现了什么 一、map和reduce分别做了哪些工作Map:待处理数据分片放入缓冲区，分区、排序、合并、归并，写入本地磁盘。将处理杂乱无章的数据，找出规律，归纳处理。 (1)读取hdfs上的文件，每个block启动一个maptask，按行读取一个block中的内容。（2）map函数对数据split拆分，得到数组，组成一个键值对<word,1>（3）做分区对应多个reduceTask（4）分区数据，按key分组排序（5）在map端执行小reduce，一个map中输出<key,times
关注
