hadoop
lukezhang-123
博客好强大!注意保护视力!
展开
-
kdc单机kerberos认证的hdfs开发环境
开发中需要测试kerberos认证的hdfs环境,方便模拟线上环境,hdfs单机很简单,但是加上kerberos,一方面时配置复杂,另一方面时java程序连接认证容易出错,所以总结了快速搭建kerberos认证的hdfs环境,方便开发与测试 centos 6.10 minimal安装 先安装kerberos yum -y install krb5-libs krb5-server krb5-wor...原创 2020-01-20 14:27:11 · 1145 阅读 · 0 评论 -
java测试kerberos(kdc)认证的hadoop集群的hdfs的读写
使用springboot,加可配置的参数来动态验证 java程序对于kerberos认证的hadoop集群访问,尤其是在初次使用java连接kerberos时,用户名,keytab文件等等问题 //pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4...原创 2020-01-20 14:08:57 · 2037 阅读 · 0 评论 -
java api 读取hadoop中hdfs文件系统内的文件
hadoop与hdfs需要自己安装,确保文件存在于hdfs 只有一个main方法 Test.java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.a...原创 2018-07-05 09:56:48 · 14500 阅读 · 0 评论