hadoop
lcm_linux
欲买桂花同载酒,终不似,少年游。
展开
-
yarn spark livy 启动失败,报权限错误
yarn spark livy,启动失败:日志报的是没有权限,但是给完权限仍然起不来。开始从启动的脚本排查。发现hfs的security没关导致原因:此选项是为hdfs开启认证的按钮,如果hdfs没有配置认证,开启的话,会导致报权限认证失败的错误...原创 2020-01-13 17:35:20 · 653 阅读 · 0 评论 -
基于CentOS7下的Kerberos集成Hadoop和Hive
目的:新项目针对Hadoop集群以及Hive使用Kerberos做认证处理版本:Hadoop 2.7.2Hive 1.2.1Kerberos介绍Kerberos 是一种网络认证协议,其设计目标是通过密钥系统为 客户机 / 服务器 应用程序提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证,无需基于主机地址的信任,不要求网络上所有主机的物理安全,并假定网络上传送的数据包可...原创 2020-01-06 15:32:27 · 1770 阅读 · 0 评论 -
CentOS7 手动部署Hadoop集群2.7.2
目的:新项目的一个测试环境,需要手动部署集群,由于之前都是用ambari进行部署,好久没有手动了,因此借此机会整理下部署文档,方便以后查看环境信息主机名IPtest-01172.18.0.1test-02172.18.0.2test-03172.18.0.3部署前提1、环境初始化(各个节点执行)包括句柄数,调参echo -e '* soft n...原创 2020-01-02 18:58:40 · 366 阅读 · 0 评论 -
记一次DataNode节点数据磁盘爆满的问题
起因:ambari中其中一个节点datanode宕机,后台发现该节点突然数据量大增,超出其他节点数据大小排查:在ambari上启动DataNode节点,不生效,后台查看日志发现盘容量不足。df -h 查看 /opt下磁盘空间不足,但是DataNode不应该只有一块数据盘,因此查看状态良好的其他DataNode节点磁盘挂载情况,发现其他节点均挂载5块磁盘 /data1…/data5,问题出来了,问...原创 2019-12-27 16:59:31 · 1569 阅读 · 0 评论 -
大数据开源组件图谱------非常详细
文件系统 HDFS Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。GlusterFS 是一个集群的文件系统,支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务...转载 2019-11-25 10:14:10 · 2719 阅读 · 0 评论 -
记一次DataNode启动异常"Cannot lock storage /opt/hadoop/hdfs/data. The directory is already locked"
ambari上监控节点 发现有一台datanode节点启动后自动杀掉,查看日志发现如下报错:显示目录被锁定了,分析可能是磁盘已满,df -h 检查磁盘情况,发现并无问题:继续查看日志,发现新问题:发现/data1目录也有问题,但是刚才查看磁盘,并未看见/data1目录挂载情况,因此使用lsblk继续查看:问题一目了然:/opt和/data1目录共同挂载到/dev/s...原创 2019-11-20 16:20:13 · 1236 阅读 · 0 评论 -
HDFS中关于sticky bit的使用
HDFS 是一个基础的服务,Hive/HBase 等都是基于 HDFS,所以在配置其它上层服务时,需要提前配置好 HDFS 的权限控制。在 HDFS 开启权限后,需要设置好服务的日志路径(如 Spark 的 /spark-history、YARN 的 /tmp/$user/ 等)sticky bit针对文件夹可设置 sticky bit,可以防止除了 superuser/file owner...原创 2019-11-09 16:40:20 · 1124 阅读 · 0 评论 -
kerberos认证原理---转存、深入理解
前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候,讲了半天也别把那位老兄讲明白,还差点把自己给绕进去。后来想想原因有以下两点:对于一个没有完全不了解Kerberos的人来说,Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密、一会儿又要以另一个Key进行加密,确实很容易把人给弄晕;另一方面是我讲解方式有问题...转载 2019-11-14 11:38:09 · 205 阅读 · 0 评论