![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据集成工具
文章平均质量分 86
清梦清河
分享大数据学习之路
展开
-
flume简单使用案例
flume简单使用案例1、端口监听1.1、编写配置文件1.2、执行任务2、监控指定目录2.1、编写配置文件2.2、执行任务3、监控指定文件并过滤内容3.1、编写配置文件3.2、执行任务1、端口监听1.1、编写配置文件编写配置文件,并保存为netcatToLog.conf# 给agent起一个名字为aa.sources = r1a.channels = c1a.sinks = k1# 配置sourcea.sources.r1.type = netcata.sources.r1.bind原创 2021-12-09 22:50:54 · 1140 阅读 · 0 评论 -
DataX导入与导出数据
DataX导入与导出数据1、Datax安装2、从MySQL导出数据2.1、将MySQL中的student数据库中的student表导入hive中2.1.1、前提准备2.1.2、编写脚本2.1.3、执行脚本2.2、将MySQL中的数据导入hbase2.2.1、前提准备2.2.2、编写脚本2.2.3、执行脚本3、从Hive导出数据3.1、Hive中数据导入MySQL3.1.1、前提准备3.1.2、编写脚本3.1.3、执行脚本1、Datax安装DataX不需要依赖其他服务,直接将DataX上传解压配置环境变量原创 2021-12-08 16:58:17 · 2855 阅读 · 0 评论 -
Sqoop导入与导出数据
1、Sqoop部署基础环境:hadoop完全分布式集群、hive、zookeeper、hbase1.1、下载安装包官网下载安装包:官网链接地址将下载好的安装包上传至Linux,解压并修改名称1.2、修改配置文件进入Sqoop的conf目录下复制文件并重命名cp sqoop-env-template.sh sqoop-env.sh修改sqoop-env.sh文件,并添加如下内容,具体路径应灵活修改export HADOOP_COMMON_HOME=/usr/local/soft/hado原创 2021-12-06 22:39:49 · 5101 阅读 · 0 评论