
Hadoop
line_aijava
这个作者很懒,什么都没留下…
展开
-
Hive 解决中文分区问题 Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for
Hive 中文分区初学Hive。在创建动态分区的时候。报错。 Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation ‘=’执行SQL为:INSERT INTO TABLE test_company PARTITION (p_provinc原创 2018-02-04 20:15:25 · 5360 阅读 · 0 评论 -
Linux7 下Hadoop集群用户管理方案之五 安装Hadoop集群遇到的坑
自己在安装时候遇到的一部分的坑。密码都不能用了。。难道是因为。。改了kdc.conf?? 从ip改成端口了PS。这个还没有解决。。Kerberos创建用户,创建的用户密码过期之后不可用的问题。Kerberos还没有完全吃透,还没解决。/opt/cm-5.9.0/share/cmf/bin/gen_credentials.sh fail原创 2017-05-07 21:36:03 · 7884 阅读 · 0 评论 -
Linux7 下Hadoop集群用户管理方案之四 CDH集成Kerberos
CM 开启Kerberos 认证在CM上使用Kerberos认证,它会帮我们创建所有的需要的Kerberos账户,并且在启动的时候自动生成keytab存放到对应的启动目录,在配置文件中添加对应的keytab文件配置和用户名。所以,只需要给CM创建一个拥有管理员权限的账户。CM就能够完成大部分的初始化工作。首先添加一个管理员用户Kadmin.local:原创 2017-05-07 21:23:39 · 1592 阅读 · 0 评论 -
Linux7 下Hadoop集群用户管理方案之三 用户认证组件Kerberos安装
Kerberos 协议Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single Sign On)。由于在每个Client和Service之间建立了共享密钥,使得该协议具有相当的安全性。Kerberos安装1原创 2017-05-07 21:12:18 · 1729 阅读 · 0 评论 -
Linux7 下Hadoop集群用户管理方案之一 用户管理集群方案概述
分为几个步骤方案调研CM的部署Kerberos的安装与集成方案的实践 实现添加用户功能第一部分:方案的调研与确认需要做一个大数据教育平台,面向学校,培训机构等,可以基于同一个大数据基础环境,学生可以进行大数据实践,而不需要复杂的搭建过程。HDFS章节:想做到这一点,不可避免的就是数据隔离的问题,文件不能被互删,只能读取自己的文件,这是我们首要面临的问原创 2017-05-07 21:08:42 · 1013 阅读 · 0 评论 -
Linux7 下Hadoop集群用户管理方案之二 CDH5.9.0版本安装配置
前期准备:第一步:装NTP这个单独做了一个文档专门写NTP.我擦。搞死了。一上午都在搞这个ntp。。。终于搞定了。第二步:改Hosts文件echo '10.10.106.156 edu-bigdata-01.novalocal' > /etc/hostsecho '10.10.106.157 edu-bigdata-02.novalocal' >>原创 2017-05-07 21:01:36 · 1512 阅读 · 0 评论