![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
-----Hadoop
唐予之_
Java Scala Hadoop Spark Hive Kafka
展开
-
Alluxio、Presto 集成Kerberos
一、Kerberos安装与配置kerberos简介:Kerberos 是一个安全的网络认证协议,支持客户端和服务端不需要在网络上传输密码就可以进行认证。Kerberos 采用通过对称加密算法生成时间敏感的票据。在安全范式中Kerberos 的三个脑袋是指:尝试认证的用户是谁。客户端要认证哪个服务。Kerberos 安全服务中心作为密钥分发中心(Key Distribution Cent...原创 2019-11-30 16:41:55 · 1209 阅读 · 0 评论 -
Hadoop Maven项目报错:Missing artifact jdk.tools:jdk.tools:jar:1.6
错误:pom.xml报错:Missing artifact jdk.tools:jdk.tools:jar:1.6解决:添加: <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.6</version> <scop原创 2016-09-22 10:20:54 · 527 阅读 · 0 评论 -
HDFS文件操作FileSystem使用API报错:copyToLocalFile NullPointerException
出错:Exception in thread "main" java.lang.NullPointerException at java.lang.ProcessBuilder.start(Unknown Source) at org.apache.hadoop.util.Shell.runCommand(Shell.java:482) at org.apache.hadoo原创 2016-09-22 10:31:59 · 4166 阅读 · 4 评论 -
Presto单机/集群模式安装笔记
Presto单机/集群模式安装笔记一、安装环境JDK版本要求: 1.9.0_92+二、安装步骤官网下载最新版本https://prestodb.io/docs/current/installation/deployment.html 配置,参考网址http://prestodb-china.com/docs/current/installation/deployment.htmletc/no原创 2017-08-29 00:05:06 · 2836 阅读 · 0 评论 -
Ranger与Kerberos整合
最近调研了Ranger和Kerveros的结合,基于Ranger可以把没有权限变成有权限,在Kerberos基础上搭建了Ranger,进行细粒度权限控制的探索。流程记录如下。1.在Ambari上安装了Kerberos,HDFS,Yarn,Hive。Pricaple。需要生成Keytab。2.安装Ranger后需要在Ranger的配置项中,打开Hive、HDFS、Yarn的配置。并根据官网做相应配置...原创 2018-05-19 10:43:15 · 6588 阅读 · 2 评论 -
mac上安装protobuf2.5.0
mac上安装protobuf2.5.0在github上找到相应版本,下载protobuf2.5 https://github.com/google/protobuf/releases?after=v3.0.0-alpha-4.1解压:tar -zxf protobuf-2.5.0.tar.gzcd:cd protobuf-2.5.0设置编译目录:./c...原创 2018-07-16 10:52:49 · 2445 阅读 · 0 评论 -
Mac 编译Hadoop
Mac 编译Hadoop一、本地先安装protobufmac上安装protobuf2.5.0二、编译HadoophulbdeMacBook-Pro:hadoop-branch-2.7.4 hulb$ mvn package -Pdist -DskipTests -Dtar全程小烧了一会CPU ,无异常,一次成功。[INFO] Executed tasks...原创 2018-07-16 11:10:06 · 473 阅读 · 1 评论 -
Hadoop MapReduce任务设置yarn的队列
网上很多回答,都是:yarn jar app.jar com.xxx.mainClass -D mapreduce.job.queuename=default args1 args2但是这样设置并不能生效!!!!!是有问题的!!!!!网上的所有设置都是基于hadoop官方的example。example中有这样一段代码。会将-D的配置进行处理,加入到Configuration中以wor...原创 2018-12-21 14:45:50 · 3410 阅读 · 1 评论