TMH_ITBOY的博客

注意，由于kerberos使用openldap作为后端数据存储，则需要openldap的配置中具有kerberos的schema配置。搭建openldap并添加kerberos的schema到openldap配置中，请结合上一篇文章关于kerberos.ldif的使用部分。一、编译安装kerberos下载kerberos源码包到/opt/packages目录下。cd /opt/packages && wget https://kerberos.org/dist/krb5/1.19/k

编译openldap，可作为kerberos的database。需要用到openssl 1.1.1或以上版本，以及kerberos包中带的kerberos.openldap.ldif文件。一、准备准备以下所需安装包：openssl-1.1.1.tar.gz 下载地址：https://ftp.openssl.org/source/old/1.1.1/openssl-1.1.1.tar.gzopenldap-2.5.5.tgz 下载地址：https://www.openldap.org/softwar

Hive作为大数据分析领域常用的仓库工具，即使是现在流式计算如火如荼背景下，Hive依然倍受各大厂商挚爱。使用Hive过程中，面对各种各样的查询需求，需要具有针对性的优化。下面内容就是摘抄自《Hadoop 数据仓库实践》一书中关于Hive优化部分内容。在此，感谢作业的辛勤付出。部分优化已经用于我的实际工作中。比如使用ORC存储文件、启用压缩、开始向量化等。此处记录下来，仅为学习和加强记忆。1. 启用压缩压缩可以使磁盘上的数据量变小，例如，文本文件格式能够压缩40%甚至更高的比例，这样可以通过降低I/

背景在大数据领域，总是会遇到需要将各种数据类型序列化成字节数组，或者从字节数组反序列化回常用数据类型的场景，比如，Spark中推荐使用kyro，HBase中，使用HBase提供的工具来进行序列化以及反序列化，HBase内部使用google的probuff来序列化进行网络通讯等情况，以及hadoop使用Apache avro来序列化。当然，各种序列化方式的性能以及效率各种优缺点（此文不做对比）。以上序列化都是框架内部已经给我们做好了序列化以及反序列化操作，如果我们在实际工作中，需要自己手动来序列化的场景，

背景由于业务需要，需要将SparkSQL中Array、Map、Struct使用avro序列化成一个大的字节数组进行存储。但是在序列化过程中，涉及到Java的BigDecimal类型，根据avro官网提示，定义schema如下：{ "namespace":"com.bugboy.avro.bean", "type":"record", "name":"DecimalDemo", "fields":[ {"name":"id", "type":"string"

1. 安装Ranger安装JDK(略)编译Ranger(略)安装MySQL(略)创建名为ranger的数据库(CREATE USER 'ranger'@'%' IDENTIFIED BY 'ranger';)。创建名为ranger的用户，并授权ranger数据库所有权限给ranger(GRANT ALL PRIVILEGES ON ranger.* TO 'ranger'@'%';)...

背景自己构思一个好的项目到github，然后发布到maven，供别人通过maven进行依赖使用。然后写点文档什么的，就可以到github骗小星星了。实际操作到网站https://issues.sonatype.org/，注册账号，该网是外网，需要自备小梯子。。注册时需要设置密码，看别人的博客说密码要求挺高，我一般都是用chrome浏览器自动生成的，然后用小本子记下来，看着是挺复杂的，强烈建...

Hive On Spark 官方教程注意，一般来说hive版本需要与spark版本对应，官网有给出对应版本。这里使用的hive版本，spark版本，hadoop版本都没有使用官方推荐。下载Spark 源码，以spark-2.4.4 为例。编译Spark 源码。编译时选择hadoop版本，可选的有hadoop2.7.3和 hadoop2.6的，我要使用2.8.5，所以修改pom文件...

本文转载于https://www.cnblogs.com/javaadu/p/11220234.html,侵删 本文翻译自：https://www.redhat.com/en/blog/collecting-and-reading-g1-garbage-collector-logs-part-2?source=author&term=22991这篇文章将深入研究G1的日志和...

MapReduce 二次排序需求：有这样的一堆数据：22 1222 1322 622 1721 528 7928 6328 1001 7923 841 6367 4518 2319 741 10021 ...

转载部分 Start>>>>>>此部分的原文连接:https://www.jianshu.com/p/419efe983cb2,尊重原创,原理部分请参考原文 protobuf是google团队开发的用于高效存储和读取结构化数据的工具。什么是结构化数据呢，正如字面上表达的，就是带有一定结构的数据。比如电话簿上有很多...

先看一个问题java.io.IOException: Added a key not lexically larger than previous. Current cell = M00000006/info:age/1563723718005/Put/vlen=4/seqid=0, lastCell = M00000006/info:name/1563723718005/Put/vlen=2/...

Spark 内存调优以及 JVM 调优(基于源码2.2.0分析)目前Spark使用的内存管理模型有两个,分别是:StaticMemoryManagerUnifiedMemoryManager而StaticMemoryManager是1.6之前的版本使用的内存管理模型.UnifiedMemoryManager是1.6之后使用的内存管理模型.在SparkEvn中,通过spark.memo...

在 HBase2.0之前使用协处理器 Endpoint 时,使用的方式是实现CoprocessorService,Coprocessor这两个接口,但是在2.0版本中,这么做在 hbase regionServer的日志中显示 Endpoint 加载成功了,但是在 hbase 的 regionServer UI 界面,并没有显示已经加载的Endpoint协处理器,也没有报错日志,很头疼.同时Cop...

Spark 读取 csv 时,当 csv 的字段值中有 JSON 串需求:统计 csv 中 有 json 串的 key 个数csv 数据:代码:package com.rm1024.scalaimport com.alibaba.fastjson.JSONimport org.apache.spark.sql.SparkSessionimport scala.collectio...