Kafka参数详解及调优--生产者

引言 在实际的kafka开发中,我们会发现,无论是生产者还是消费者,都需要构建一个Properties对象,里面设置了很多参数。对于很多初学者来说,会看不懂这些参数分别代表什么含义。 在本篇文章我们就来详细地了解一下这些参数的作用,并探讨下如何使用合理的配置去优化提高生产/消费效率。 正文 1.k...

2019-05-23 14:24:24

阅读数 16

评论数 0

Kafka参数详解及调优--消费者

引言 在实际的kafka开发中,我们会发现,无论是生产者还是消费者,都需要构建一个Properties对象,里面设置了很多参数。对于很多初学者来说,会看不懂这些参数分别代表什么含义。 在本篇文章我们就来详细地了解一下这些参数的作用,并探讨下如何使用合理的配置去优化提高生产/消费效率。 正文 1.k...

2019-05-23 11:58:03

阅读数 2

评论数 0

阿里开源Canal--⑤投递到Kerberos认证的Kafka

在前一章节中,Billow介绍了如何通过1.1.1以上的canal配置将binlog数据投递到kafka。在实际的生产环境中,我们的kafka很多都会集成Kerberos作为安全认证。那么在本节,Billow将介绍如何通过修改源码使Canal可配置为投递数据到Kerberos认证的Kafka集群。...

2019-02-18 09:55:33

阅读数 170

评论数 0

阿里开源Canal--④投递数据到Kafka

基本说明 canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有: kafka: (https://github.com/apache/kafka) RocketMQ

2019-02-18 09:55:05

阅读数 314

评论数 0

阿里开源Canal--③Client入门

在上一章节中,我们配置启动了canal server,本节我们使用Java语言编写启动client端消费server端同步过来的binlog数据。 #1.添加依赖 <dependency> <groupId&...

2019-02-18 09:54:35

阅读数 114

评论数 0

阿里开源Canal--②快速入门

#1、mysql初始化 a.canal的原理是基于mysql binlog技术,所以这里一定需要开启mysql的binlog写入功能,建议配置binlog模式为row. [mysqld] log-bin=mysql-bin #添加这一行就ok binlog-format=ROW #选择row模式 ...

2019-02-18 09:53:54

阅读数 43

评论数 0

阿里开源Canal--①简介

canal是阿里巴巴旗下的一款开源项目,纯Java开发。基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL(也支持mariaDB)。 背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是...

2019-02-18 09:51:57

阅读数 77

评论数 0

看完这篇文章,你就能熟练运用SparkSql

花了几天休息的时间整理了这篇文章,就为了让你读完就能深入了解并熟练运用Spark SQL!如果你觉得有用的话请收藏加关注,你的转发和点赞是我最大的动力!原创不易,转载请注明出处!   本文基于Spark官方网站(spark.apache.org),加上自己的理解和实验编写。文中Demo基于Sp...

2019-01-21 23:17:32

阅读数 64

评论数 0

Maven打包插件

<build> <plugins> <plugin> <groupId&g...

2019-01-19 11:55:53

阅读数 56

评论数 0

Java创建ClassTag的方法

Java创建ClassTag的方法,我能找到的有三个方法。其中第三种方法,只要需要classtag的地方都可以直接用,参数都不需要。 1:ClassManifestFactory.classType( String.class )。 2:ClassTag$.MODULE$.apply( Str...

2019-01-17 17:00:44

阅读数 75

评论数 0

使用Sqoop导入导出parquet格式的Hive表

1、导入 sqoop import \ --connect jdbc:mysql://10.10.0.1:3306/test \ --username root \ --password 123456 \ --table session_detail \ --hive-import \ --h...

2019-01-16 16:08:33

阅读数 610

评论数 0

sqoop 导入数据的时候出现Unsupported major.minor version 52.0的问题描述

由于脚本中显示指定了运行sqoop的jdk版本为1.8,CDH集群的jdk为1.7,导致执行sqoop时报错:Unsupported major.minor version 52.0。 出现该问题是由于cloudera manager和系统的jdk版本不一致导致的,更具体点是cm使用的是低版本的...

2019-01-14 16:52:38

阅读数 92

评论数 0

CDH--Spark结合Hive/Hbase/Kudu报错找不到表或找不到相关包的问题解决

问题描述一:Spark结合Hive开发,明明有表,却报错找不到表问题 问题描述二:找不到相关jar包 NoClassDefFoundError

2018-11-09 14:59:38

阅读数 478

评论数 0

java ssh远程连接服务器,跳过 Kerberos username 身份验证提示

一般情况下,我们登录sftp服务器,用户名认证或者密钥认证即可。  但是如果对方服务器设置了Kerberos 身份验证,而已方又没有对应的配置时,则会提示输入  Kerberos username [xxx]  Kerberos password 此时,简单的解决办法是,可以去掉Kerberos...

2018-11-06 17:11:06

阅读数 257

评论数 0

HBase权限管理命令

我们可以授予和撤销HBase用户的权限。也有出于安全目的,三个命令:grant, revoke 和 user_permission.。 grant grant命令授予特定的权限,如读,写,执行和管理表给定一个特定的用户。 grant命令的语法如下: hbase> gr...

2018-11-06 10:42:09

阅读数 308

评论数 0

CDH-Kerberos环境下使用flume消费带权限认证的kafka数据保存到hdfs中

前提: 1.kerberos环境可用 2.flume服务可用 3.kafka服务可用并做了sentry权限管理 4.hdfs服务可用并集成了sentry权限管理 1 配置flume 打开CDH-Flume服务界面,点击配置,搜索配置。输入agent配置内容(注意代理名称要和配置文件中的一致!!!)...

2018-11-02 21:12:21

阅读数 634

评论数 0

CDH-Kerberos环境下KafkaManager的安装使用(编译版和免编译版)

为了能够方便的查看及管理Kafka集群,yahoo提供了一个基于Web的管理工具(Kafka-Manager)。这个工具可以方便的查看集群中Kafka的Topic的状态(分区、副本及消息量等),支持管理多个集群、重新分配Partition及创建Topic等功能。 项目地址:https://git...

2018-11-02 15:39:17

阅读数 256

评论数 0

Kafka集成sentry的授权命令

前提知识: 1. 一旦对Kafka启用Sentry授权以后,kafka用户就是管理员,一切管理员操作都需要使用kafka用户来操作,这个与我们在Hive/Impala中使用Sentry时,hive用户是管理员原理是一样的 2. 如果只是测试系统,建议将Sentry权限的cache刷新间隔调低,这...

2018-11-01 17:46:51

阅读数 270

评论数 0

CDH-Kerberos环境下Kafka集成Sentry进行权限管理

1.文档编写目的 Sentry在CDH平台中定位为统一的授权框架,即所有的组件都要受Sentry的管理,当然也是为了方便用户的操作,一个入口为所有数据相关进行授权。Fayson在前面的文章中介绍了大量Sentry与Hive/Impala的集成文章,其实Sentry除了可以给Hive/Impal...

2018-11-01 16:56:22

阅读数 487

评论数 0

在Linux(CentOS)下重置MySQL根(Root)密码

1.首先输入“service mysqld status”查看当前mysql服务状态,下图显示正在mysqld服务正在运行中。 2.输入“killall -TERM mysqld”命令停止所有的mysqld进程。 3.输入“service mysqld stop”命令停止mysqld服...

2018-11-01 15:07:29

阅读数 37

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭