![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 75
snail_bing
这个作者很懒,什么都没留下…
展开
-
hdfs集群间kerberos互信配置
1.修改hdfs配置在两个集群的hdfs-site.xml中添加以下内容:<property> <name>dfs.namenode.rpc-bind-host</name> <value>0.0.0.0</value> <description></description></property><property> <name>dfs.namenode.servic原创 2021-09-13 11:54:43 · 2391 阅读 · 0 评论 -
Spark3.0新特性分析
特性概览官方release note:https://spark.apache.org/releases/spark-release-3-0-0.htmlhttps://spark.apache.org/docs/3.0.0/core-migration-guide.htmlhttp://spark.apache.org/releases/spark-release-3-0-2.html1.Adaptive Query Execution - [SPARK-31412] 2.Dyna原创 2021-06-28 17:11:45 · 1254 阅读 · 0 评论 -
kerberos使用详解
准备环境准备三台虚拟机,其中一台安装kerberos的KDC,另外两台安装kerberos的客户端,需要保证三台机器的主机名可以被解析。主机名ip角色hadoop01192.168.24.100KDChadoop02192.168.24.101Clienthadoop03192.168.24.102CLient安装Kerberos KDC在hadoop01上安装运行KDC,即安装krb5-server、krb5-libs和krb5-workstati原创 2021-06-21 10:21:58 · 5707 阅读 · 2 评论 -
zookeeper集成kerberos认证
1. 生成zookeeper的keytab文件#添加zookeeper的principalkadmin.local -q "addprinc -randkey zookeeper/$hostname@REALM.COM"#生成zookeeper的keytabkadmin.local -q "xst -kt /tmp/keytabs/zookeeper.keytab zookeeper/$hostname@REALM.COM"生成的zookeeper.keytab就在/tmp/keytabs路原创 2021-06-21 10:12:51 · 1597 阅读 · 0 评论 -
大数据ETL工具Sqoop详解
Sqoop是用来做什么的Sqoop官网是这样介绍:Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structureddatastores such as relational databases.就是说Sqoop是一款用来在Hadoo...原创 2018-09-30 10:42:57 · 12414 阅读 · 0 评论 -
flume配置选择器、处理器、拦截器详解
目录一、Selector(选择器)Selector概述复制模式多路复用(路由)模式二、Interceptors(拦截器)Interceptors概述1、Timestamp Interceptor2、Host Interceptor3、Static Interceptor4、UUID Interceptor5、Search and Replace Inte...原创 2018-09-05 12:45:51 · 2212 阅读 · 0 评论 -
flume安装及配置详解
安装flume1、去官网下载flume安装包,注意版本,下载完成后放到服务器上做好安装前准备。2、直接解压安装即可。如图:3、进入安装后的根目录,找到其目录中的conf文件夹,如图:4、找到模板配置文件,复制一个并更改文件名为:flume-*.properties,修改其中的配置。配置flume#命名Agent a1的组件,a1为agent的名称,r1、k1、...原创 2018-09-04 17:18:10 · 840 阅读 · 0 评论 -
flume简介及原理概述
Apache Flume概述Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。目前是Apache的顶级项目。当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的...原创 2018-08-17 17:47:01 · 1955 阅读 · 0 评论 -
linux系统下安装zookeeper(集群)
安装配置ZooKeeper集群ZooKeeper介绍ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和...原创 2018-08-16 14:03:40 · 373 阅读 · 0 评论