其他
万事于足下
这个作者很懒,什么都没留下…
展开
-
sqoop安装和使用
Sqoop环境搭建:1)下载2)解压3)配置文件:sqoop-env.sh4)配置环境变量sqoop-env.xml配置hadoop路径,下面的那个hadoop jar的路径也是这个。以下类似,hive路径打开:bin目录下的sqoop,使用sqoop –help来查看使用方法(注意需要有mysql驱动,lib文件夹下面,不然正确的语法也会报错)使用usage: sq...原创 2018-09-17 22:59:24 · 390 阅读 · 0 评论 -
Flume简单使用
erfg原创 2018-10-28 14:49:06 · 205 阅读 · 0 评论 -
Kafka安装和简单使用
安装准备首先安装zookeeper和scala安装Zookeeper下载解压(先安装一台),修改配置文件zoo.cfg[root@hadoop001 conf]# cp zoo_sample.cfg zoo.cfg[root@hadoop001 conf]# vi zoo.cfg # The number of milliseconds of each ticktickTime=20...原创 2018-11-19 15:25:06 · 87 阅读 · 0 评论 -
Kafka监控
监控软件KafkaManager:https://github.com/yahoo/kafka-managerKafka-eagle:https://github.com/smartloli/kafka-eagleCDH自带有很好的监控JMXtrans + InfluxDB + Grafana实现Kafka性能指标监控安装JMXtrans收集来自已经启动jmx的kafka服务的数据...原创 2018-11-19 16:49:11 · 345 阅读 · 0 评论 -
Flume Sink到Kafka遇到的问题
1、版本问题2018-12-02 15:23:06,334 (conf-file-poller-0) [ERROR - org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:427)] Sink k1 has been removed due to an e...原创 2018-12-02 16:05:03 · 4100 阅读 · 0 评论 -
maxwell把数据同步给kafka的注意点
1、注意maxwell的schema_database数据库和表是不监控的,在这个数据库里插入或删除数据不会被kafka消费。2、mysql中配置binlog,开启后通过show variables like 'log_bin';查看是否ON的状态mysql中配置binlog的输出格式为row,开启后通过show variables like 'binlog_format';查看mysq...原创 2019-03-26 21:52:44 · 2019 阅读 · 0 评论 -
Redis的持久化:RDB与AOF讲解
原文链接:https://blog.csdn.net/pengzonglu7292/article/details/89343266一、RDB(Redis Database)1、基础知识1、基础: 默认的持久化机制。 可以定时备份内存中的数据集。 每个某段时间内,如果发生了超过特定次数的写操作,则进行持久化。 生成的持久文件为/opt/apps/redis-2...转载 2019-04-27 22:26:22 · 153 阅读 · 0 评论