- 博客(6)
- 收藏
- 关注
RSS订阅
1原创 使用datax-we调用hive数据到mysql8注意事项
datax-web-2.1.2/modules/datax-admin/lib中mysql-connnetion的版本，如果太低，需要更换，mysql-connector-java-8.0.22.jar这是我的jar版本。更换后最好重新启动。datax-web的启动命令;注意：如果原始数据的类型有问题，可以将字段都设置为string和varchar类型。二、确保hive数据表里的字段和MySQL表中的相同，字段类型相对应。datax-web调用hive的数据到mysql8。
2023-03-31 16:52:30
400
原创 【doris的安装部署】
1.下载百度Palo预编译版本，不需要编译源码，直接安装就行。2.下载Apache Doris源码用docker进行编译。
2023-03-31 16:46:40
1864
原创 【flume采集离线数据到hdfs】
配置文件所在目录：/opt/software/flume/apache-flume-1.9.0-bin/conf/demo.conf。1.flume出错可能需要删除checkpoint的dir下的所有文件。flume采集本地离线数据到hdfs。2.每次执行需要修改还原文件名。
2023-03-27 09:35:50
435
原创 MapReduce的工作流程：map和reduce分别做了哪些工作,以及shuffle机制实现了什么
一、map和reduce分别做了哪些工作Map:待处理数据分片放入缓冲区，分区、排序、合并、归并，写入本地磁盘。将处理杂乱无章的数据，找出规律，归纳处理。 (1)读取hdfs上的文件，每个block启动一个maptask，按行读取一个block中的内容。（2）map函数对数据split拆分，得到数组，组成一个键值对<word,1>（3）做分区对应多个reduceTask（4）分区数据，按key分组排序（5）在map端执行小reduce，一个map中输出<key,times
2023-02-28 13:12:09
1834
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人