数据同步
数据同步组件
zdsg1024
成功的路上并不拥挤,因为坚持的人不多
展开
-
LogStash与Fume的区别
首先需要了解一下flume的三个组件与logstash三个组件的关系flume中的三个组件 source channel sinklogstash中的三个组件 input filter outputlogstash中的finput相当于flume中的source----从那里读数据logstash中的filter相当于flume中source端的interceptor------...原创 2019-11-24 16:26:44 · 166 阅读 · 0 评论 -
LogStash实操
LogStash实操简单的从本地输入,输出到本地logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'从本地输入,输出到eslogstash -e 'input{stdin{}} output {elasticsearch{hosts=>["hadoop111:9200"]}}'##会在es根据时间生成一个索引...原创 2019-11-24 15:58:10 · 452 阅读 · 0 评论 -
Sqoop:Import failed: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
mysql向hive导数据报错:ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf错误原因:sqoop缺少hive的相关jar包解决办法: 将将hive/lib中的hive...原创 2019-09-18 17:48:01 · 1067 阅读 · 0 评论 -
Datax安装与实例
1.datax下载点击下载2.配置为了方便操作,在/etc/profile下配置DATAX_HOME,并将bin目录导入PAHT3.测试python $DATAX_HOME/bin/datax.py {YOUR_JOB.json}eg:cd $DATAX_HOMEpython ./bin/datax.py ./job/job.json4.1 mysql–>hdfs...原创 2019-09-22 10:03:26 · 331 阅读 · 0 评论 -
flume组件详解与测试案例,安装
Flume概念:Flume是一种分布式、可靠且可用的服务,用于高效地收集、聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有健壮性和容错性,具有可调的可靠性机制和许多故障转移和恢复机制。它使用一个简单的可扩展数据模型,允许在线分析应用程序。架构:组件source:数据源组件,用于读取相应数据,并将数据传到channel中channel:管道,用于...原创 2019-09-22 11:35:45 · 1563 阅读 · 1 评论 -
sqoop map并行度以及split-by数量详解
Sqoop 同步记录文章目录Sqoop 同步记录1. sqoop -m2. sqoop --split-by3.sqoop --split-by 分割机制3.1 分割int类型3.2 分割date类型3.3 分割varchar类型4. sqoop --split-limit5. map的数量由什么决定6.为什么要设定--split-limit1. sqoop -m有一种情况可以不需要指定 sqoop -m就是你要同步的表有主键,这样的话sqoop默认会按照主键进行split然后分成4个map并行执行原创 2020-07-10 10:14:46 · 3960 阅读 · 3 评论 -
sqoop导出parquet格式的hive表
sqoop导出parquet格式的表结论1:sqoop导出parquet格式的表,必须指定hive的数据库与表名遇到的问题1:ERROR sqoop.Sqoop: Got exception running Sqoop: org.kitesdk.data.DatasetNotFoundException: Descriptor location does not exist: hdfs://XXX/.metadata原因:采用了传统的导出数据的方式sqoop export \--conne原创 2021-01-11 19:44:32 · 1458 阅读 · 0 评论 -
sqoop常用参数详解与应用
Sqoop常用参数详解与应用Sqoop是一个Hadoop和关系型数据库的数据迁移工具(非关系型数据库不支持,hbase除外)官网: http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_purposesqoop语句要求写到一行,多行时用\连接import 常用参数sqoop import … --null-string ‘...原创 2019-10-14 21:50:06 · 901 阅读 · 0 评论 -
sqoop export数据覆盖分析
1.Sqoop export简介Sqoop export工具被用来将文件集合从HDFS中导入到关系型数据库中。目标表必须事先已经在数据库中创建好。输入文件根据用户指定的分隔符被读取解析成记录集。Sqoop默认的是将这些操作转换成“INSERT模式”,向目标数据库中注入数据记录。在“更新模式”中,Sqoop将会产生更新语句替换数据库中已经存在的记录。在“调用模式”中,Sqoop会为每个记...原创 2019-09-18 17:19:27 · 901 阅读 · 0 评论