- 博客(10)
- 收藏
- 关注
原创 linux 命令终端提示符显示-bash-4.2#解决方法
昨天在配置linux,突然发现root登录的CRT的终端提示符显示的是-bash-4.2# 而不是root@主机名 + 路径的显示方式原因是root在/root下面的几个配置文件丢失,丢失文件如下:1、.bash_profile2、.bashrc以上这些文件是每个用户都必备的文件。使用以下命令从主默认文件重新拷贝一份配置信息到/root目录下1.在根目录创建 /root 目录 mkdir /root2. 复制 .bashrc 以及 .bash_profile...
2020-05-12 11:30:05
1298
原创 impala 由于python版本的启动问题
报错:由于python3的启动问题[root@utility ~]# impala-shell File "/opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/bin/../lib/impala-shell/impala_shell.py", line 262 print "Query options (defaults sh...
2020-04-26 11:07:08
1324
原创 在Spark中使用某库时,出现 Symbol XXX is inaccessible from this space 错误
当我们按以下方法引入包时,会出现Symbol xxx is inaccessible from this space 这样的错误。import org.apache.spark.ml.linalg.{Vector, VectorUDT}我们进入源代码文件,会看到这样一行其中private[spark]的意思是该对象只能在含有spark的类中使用;此时,可以考虑将package一...
2020-04-22 11:54:03
5005
2
原创 CDH启用kerberos认证问题导致GSS initiate failed
问题描述:CDH启用Kerberos后使用beeline连接HiveServer2出错,错误信息如下:解决方案:先进入CM管理界面,停止hive然后在管理->安全界面点击Kerberos凭据在主体中找到hive所依赖的凭据,勾选后重新生成所选项。生成凭据然后启动hive,验证成功!问题解决!!!...
2019-03-20 17:47:48
10785
1
原创 CDH启用Kerberos后生成丢失的凭据时出错
问题描述:在CDH启用Kerberos认证后,添加新的服务组件时,无法成功启动服务;错误提示需要生成丢失的凭据,然而在生成凭据时又报错,错误信息如下:解决办法:首先需要导入Kerberos Account Manager 凭据然后再生成丢失的凭据:成功!最后启动服务也能成功运行了,搞定!!!...
2019-03-20 15:02:25
2645
原创 Hadoop启动错误: log4j.properties is not found...core-site.xml not found的解决办法
描述:在禁用CDH集群的Kerberos认证后,进行服务功能验证,查看HDFS文件系统时出现core-site.xml找不到错误[root@utility ~]# hadoop fs -ls /WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.Exception in thread "mai...
2019-03-05 18:19:05
9709
2
原创 在 CDH 集群启用 Kerberos认证
Kerberos原理介绍 kerberos主要是用来做网络通信时候的身份认证,最主要的特点就是“复杂”。所以在入坑kerberos之前,最好先熟悉一下其原理。这里推荐一些别人写的文章内容来进行简单汇总:1.链接:kerberos认证原理用对话场景来解释kerbeors的设计过程Kerberos的组件和术语(翻译和注解)2.Kerberos认证流程:KDC...
2019-03-04 11:02:52
1120
原创 CDH 安装 presto-server-0.216
1.Presto简介 Presto是由Facebook开源,完全基于内存的并行计算以及分布式SQL交互式查询引擎。它可以共享Hive的元数据,然后直接访问HDFS中的数据,同时支持Hadoop中常见的文件格式比如文本,ORC和Parquet。同Impala一样,作为Hadoop之上的SQL交互式查询引擎,通常比Hive要快5-10倍。另外,Presto不仅可以访问HDFS,还可以...
2019-02-28 18:03:44
2303
原创 CentOS 7.X 安装 CDH 6.0
请务必注意CDH6的安装前置条件包括如下:外部数据库支持:MySQL 5.7或更高MariaDB 5.5或更高PostgreSQL 8.4或更高Oracle 12c或更高JDKOracle JDK1.8,将不再支持JDK1.7操作系统支持RHEL 6.8或更高RHEL 7.2或更高SLES 12 SP2或更高Ubuntu 16或更高本次测试环境为1....
2019-02-28 16:51:51
2740
原创 安装CDH后启动spark-shell报错解决方案
描述安装好CDH、Coudera Manager之后,通过Coudera Manager安装所有自带的应用,包括hdfs、hive、yarn、spark、hbase等。利用远程客户端在安装有spark的节点上,通过spark-shell启动spark,满怀期待的启动spark,but,来了个晴天霹雳,报错了,报错了!错误信息如下:19/02/28 13:45:06 ERROR spark....
2019-02-28 15:46:22
2273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人