- 博客(27)
- 收藏
- 关注
RSS订阅原创 [工作中爬过的坑] Kafka配置域名的三种难度
文章目录1. 背景说明2. 初级难度 - 无认证Kafka3. 中级难度 - SASL/PLAIN认证Kafka4. 有人捣乱的难度 - Ambari中SASL/PLAIN认证Kafka我曾经在不同的场景下给Kafka配置域名，难度各有不同，这篇文章按照从易到难的顺序介绍三种难度下给Kafka配置域名的方法。1. 背景说明在默认的Kafka配置下，客户端与Kafka集群通信都是通过brok...
2019-11-12 13:09:17
4875
原创 [效率翻倍] 如何简化Kafka ACL管理
文章目录1. 环境说明2. 开启ACL3. 原生的ACL命令producer权限consumer权限4. 简化的ACL脚本之前我们介绍过如何为Kafka开发SASL/PLAIN认证插件，在实际的生产中，一般身份认证和授权管理大多都是并存的，所以本文我们来学习如何使用Kafka的ACL命令，并且根据实际工作经验，开发了简化的ACL脚本，大大提高了工作效率。简化的ACL脚本已经上传至github...
2019-11-12 13:06:57
519
原创 [Kafka 101-3] 使用Java API消费数据实战
文章目录1. 环境说明2. 核心内容2. 1 流程说明2.2 代码展示2.3 运行效果订阅指定的topic用正则表达式订阅topic3. 注意事项同时使用两种方式订阅topicpoll方法的弃用消费数据的起点KafkaConsumer如何关闭Kafka 101系列文章目标：整理学习Kafka的基本使用、Kafka的常用配置和Kafka的重要原理。本文介绍如何使用Java API来消费Kaf...
2019-11-10 12:54:00
486
原创 [Zeppelin] Spark解释器如何安装Jar包
文章目录0. 环境说明1. 不安装Jar包2. 笨办法安装Jar包3. 更方便的办法4. 试过但不管用的方法5. 可能遇到的问题之前的文章中我们介绍了如何在Zeppelin中使用不同运行模式的Spark解释器，以及如何进行用户模拟，当我们在实际使用Spark解释器的过程中会遇到一个不可避免的需求：用户需要使用Spark自带库以外的功能，比如需要从Spark中读写MySQL，这种时候就需要安装 m...
2019-11-09 13:19:51
983
原创 [Zeppelin] Kerberos认证下Hive解释器的配置
文章目录1. 环境说明2. 创建hive解释器3. 配置hive解释器4. 安装缺失的Jar包依赖在这篇文章中，我们将来学习在Zeppelin中如何配置启用了Kerberos认证的Hive解释器。内容提要：环境说明创建hive解释器配置hive解释器安装缺失的Jar包依赖1. 环境说明Zeppelin正常安装运行，版本：0.8.2Zeppelin启用了Shiro的用户名密码...
2019-11-09 13:18:34
1053
原创 [Zeppelin] Kerberos环境Spark用户模拟踩坑全集
文章目录Kerberized SparkZeppelin连接Kerberized Spark用户模拟配置用户认证获取超级管理员keytab配置用户模拟TroubleshootJAR包版本冲突Zeppelin重启后无法登录没有安装Spark客户端如何验证Spark解释器正常工作总结在上一篇文章里我们在Zeppelin中使用了local模式的Spark解释器，而在本文中，我们将学习如何在Zeppel...
2019-11-07 12:47:15
1766
原创 [Zeppelin] 如何配置、使用和调试local模式的Spark解释器
文章目录背景配置Spark解释器使用Spark解释器TroubleShootingnetty包版本冲突zlib库不可用jackson-databind包版本冲突总结背景之前我们分别安装过Zeppelin和Spark，在本文和下一篇文章里我们学习如何通过Zeppelin来使用Spark解释器，这篇文章介绍local模式，下一篇文章介绍启用了Kerberos认证的on Yarn模式，这篇文章介绍l...
2019-11-06 08:06:14
1879
原创 [Spark 基础] 如何安装Spark和使用spark-shell
文章目录背景前置条件下载安装包运行example运行模式使用spark-shell背景Apache Spark 是一个快速的、分布式的通用计算引擎，支持Java、Scala、Python和R多种语言，同时在计算引擎之上提供了多种工具，比如处理SQL和结构化数据的 Spark SQL，用于机器学习的 MLlib，用于图处理的 GraphX 和用于流计算的的 Spark Streaming。在这...
2019-11-05 07:16:04
879
原创 如何安装启动Apache Zeppelin
在这篇文章里，我们学习如何安装启动 Apache Zeppelin。因为从源码编译相对来说步骤多一点，为了快速体验，我们通过下载编译好的二进制包来安装Zeppelin。Zeppelin目前的稳定版本是 0.8.2，0.9.0 也快要发布了，如果想要自己编译 0.9.0-SNAPSHOT，可以参考官网的How to Build 或者 Jeff的教程 （注：Jeff本名章剑锋，是Zeppelin项...
2019-11-04 07:20:20
1271
原创 [kafka-101-2] 使用Java API生产数据
文章目录基本流程Fire-and-Forget同步发送异步发送总结上篇文章里，我们学习了在命令行生产和消费数据，但是在实际的业务场景中，往往要直接通过代码来操作，命令行更多的是用于功能和数据验证，在这篇文章里我们学习如何用Java API来生产数据。本文的代码已经上传至Github，可以通过 git clone https://github.com/iamabug/kafka-101 获取。...
2019-11-03 10:54:26
160
原创 Kafka SASL/PLAIN认证插件
文章目录背景解决方案插件日志问题背景我们的Kafka一直是没有安全机制地裸奔，最近需要给它升个级，加上认证和授权机制，认证机制是SASL/PLAIN，授权是Kafka自带的ACL授权。SASL/PLAIN认证机制开启方法：修改Kafka配置文件 server.properties 或者其它名字（CDH和Ambari的发行版可能文件名有所差异）sasl.enabled.mechanis...
2019-11-02 10:23:28
798
1
原创 使用Java API连接Apache Sentry
文章目录准备工作代码构建工作中需要使用Java API来连接Sentry，但是很神奇地发现Sentry的官网没有API文档，经过一番搜索和试错之后最终搞定了，在此分享一下。准备工作假设sentry服务运行在 SENTRY_HOST上，Sentry RPC的默认端口是 8038。一般来说，如果在CDH里使用了Sentry服务的话，Kerberos应该已经启用了，所以连接Sentry需要进行Ke...
2019-11-02 10:21:21
1098
1
原创 [Kafka 101-1] Kafka安装使用
文章目录安装Java安装Kafka运行并使用Kafka启动Zookeeper和Kafka创建topic生产和消费Kafka 101系列文章第2篇：Kafka安装使用。安装JavaKafka是用Java和Scala写的，Kafka运行所依赖的Zookeeper的主要语言也是Java，因此需要安装Java才能运行Zookeeper和Kafka。Oracle JDK和OpenJDK均可，为了兼容性...
2019-11-02 10:19:58
171
原创 [Kafka 101-0] Kafka简介
我们看看Kafka官网的自我介绍：Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies....
2019-11-02 10:16:02
132
原创 从零使用本地仓库安装Ambari
文章目录准备工作兼容性校验检查系统最低要求准备环境搭建本地仓库克隆官方库克隆Ambari官方库克隆HDP官方库启动本地仓库安装Ambari Server配置Ambari Server启动Ambari Server安装Ambari Agent和需要的服务Ambari和CDH一样，是较为流行的hadoop管理工具（虽然Hortonworks已经被Cloudera收购了），这篇文章我记录了如何从头安装...
2019-11-02 10:05:11
617
2
翻译 关于Android MediaCodec 的内容
原文：http://bigflake.com/mediacodec/MediaCodec是一个可以对音视频数据进行编码和解码的Android类，本文给出代码范例并解答常见问题。概述（可忽略）Mediacodec类在Android 4.1（API 16）开始出现，目的是为了能够直接访问设备自带的编译码器，所以它提供的接口比较原始（raw），虽然Java和C++都有MediaCodec这个
2014-12-10 16:07:18
3821
1
原创 2014-03-18代码细节问题
几道题1.生成x的最低有效字节和y的剩余字节的合并,设x和y为int型,想一想是不是很简单啊,看我写的x & 0x00000011 + y & 0x11111100恩……,是不是觉得,这个 & 和+的优先级有点不确定啊,或者是这个&要不要写两遍啊,都不是,正确的写法应该是x & 0x000000 f f + y &f f f f f f 00;呵呵呵呵……2.判断一
2014-03-18 21:08:35
489
原创 2014-03-17续昨天的代码
今天早了个起,想要写完昨天的代码,万幸,刚才写完了,初步测试了一下,基本功能是有,不知道有什么bug,等会要提交,现在再从头分析一遍,找找问题要求:对以'#'结束的标准输入进行词法分析例如,对源程序 x:=5; if (x>0) then x:=2*x+1/3; else x:=2/x; # 经词法分析后输出如下序列：
2014-03-17 20:21:16
747
原创 2014-03-16敲代码记录
今天做编译原理的实验,要求使用一种你熟悉的高级语言实现词法分析,这个不是重点,重点是不会,于是就在机房墨迹了一下午,写了不到40行的代码,然后抵制住开黑的诱惑,来图书馆继续写,现在60多行了,总结了一点东西:1.机房vim和我的vim不太一样,它缩进8个字符,而我的机器缩进4个字符,不太舒服,用gg=G可以格式化代码.2.这个不能算作结论,我隐隐有这种感觉,不要用局部指针变量当做返回值,不
2014-03-16 19:29:49
682
原创 2014-03-12关于补码的问题
《深入理解计算机系统》中看到的，说补码最高位的权为-2^（n-1），n为位数。非常简洁。但是也留了一个问题就是，整数下限的表示法为什么要借助上限，不是直接表示。
2014-03-12 22:10:35
686
原创 2014-03-11使用gdb调试程序
非常费神，但是其实很简单就能学会。但是要注意：1.编译时在c程序前加-g2.查询寄存器的值时 ，32位的机器使用e开头，64位的机器使用r开头3.内存的值非常精彩
2014-03-11 16:26:50
529
原创 2014-03-04安装eclispe cdt
问题：Launch failed，Binary not found！果断吓尿，再右键单击，选择 run as local c/c++ application ，尿停了，确实出错了。搜上面的问题，得到的答案有：1.没装jdk //我记得eclipse自带jre的，但是还是从官网下了一个装上，配置PATH2.什么Elf Parser //完全不懂，照着做，
2014-03-04 20:28:04
682
原创 2014-03-03安装搜狗输入法
什么添加软件源，ppa啥的，蛋碎的差不多了方法：在ubuntu software center 搜索 fcitx（下面写中文输入法的） ，安装，和fcitx-sogoupinyin（这个我猜测32位的选i386,64位选另外一个），安装，注销或重启，收工
2014-03-03 19:59:14
654
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人