jaysen1005-CSDN博客

原创 linux 命令终端提示符显示-bash-4.2#解决方法

昨天在配置linux，突然发现root登录的CRT的终端提示符显示的是-bash-4.2# 而不是root@主机名 + 路径的显示方式原因是root在/root下面的几个配置文件丢失，丢失文件如下：1、.bash_profile2、.bashrc以上这些文件是每个用户都必备的文件。使用以下命令从主默认文件重新拷贝一份配置信息到/root目录下1.在根目录创建 /root 目录　　mkdir /root2. 复制 .bashrc 以及 .bash_profile...

2020-05-12 11:30:05 1286

原创 impala 由于python版本的启动问题

报错：由于python3的启动问题[root@utility ~]# impala-shell File "/opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/bin/../lib/impala-shell/impala_shell.py", line 262 print "Query options (defaults sh...

2020-04-26 11:07:08 1314

原创在Spark中使用某库时，出现 Symbol XXX is inaccessible from this space 错误

当我们按以下方法引入包时，会出现Symbol xxx is inaccessible from this space 这样的错误。import org.apache.spark.ml.linalg.{Vector, VectorUDT}我们进入源代码文件，会看到这样一行其中private[spark]的意思是该对象只能在含有spark的类中使用；此时，可以考虑将package一...

2020-04-22 11:54:03 4980 2

原创 CDH启用kerberos认证问题导致GSS initiate failed

问题描述：CDH启用Kerberos后使用beeline连接HiveServer2出错，错误信息如下:解决方案：先进入CM管理界面，停止hive然后在管理->安全界面点击Kerberos凭据在主体中找到hive所依赖的凭据，勾选后重新生成所选项。生成凭据然后启动hive，验证成功!问题解决！！！...

2019-03-20 17:47:48 10774 1

原创 CDH启用Kerberos后生成丢失的凭据时出错

问题描述：在CDH启用Kerberos认证后，添加新的服务组件时，无法成功启动服务；错误提示需要生成丢失的凭据，然而在生成凭据时又报错，错误信息如下：解决办法：首先需要导入Kerberos Account Manager 凭据然后再生成丢失的凭据：成功！最后启动服务也能成功运行了，搞定！！！...

2019-03-20 15:02:25 2637

原创 Hadoop启动错误: log4j.properties is not found...core-site.xml not found的解决办法

描述：在禁用CDH集群的Kerberos认证后，进行服务功能验证,查看HDFS文件系统时出现core-site.xml找不到错误[root@utility ~]# hadoop fs -ls /WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.Exception in thread "mai...

2019-03-05 18:19:05 9701 2

原创在 CDH 集群启用 Kerberos认证

Kerberos原理介绍 kerberos主要是用来做网络通信时候的身份认证，最主要的特点就是“复杂”。所以在入坑kerberos之前，最好先熟悉一下其原理。这里推荐一些别人写的文章内容来进行简单汇总：1.链接：kerberos认证原理用对话场景来解释kerbeors的设计过程Kerberos的组件和术语(翻译和注解)2.Kerberos认证流程：KDC...

2019-03-04 11:02:52 1114

原创 CDH 安装 presto-server-0.216

1.Presto简介 Presto是由Facebook开源，完全基于内存的并行计算以及分布式SQL交互式查询引擎。它可以共享Hive的元数据，然后直接访问HDFS中的数据，同时支持Hadoop中常见的文件格式比如文本，ORC和Parquet。同Impala一样，作为Hadoop之上的SQL交互式查询引擎，通常比Hive要快5-10倍。另外，Presto不仅可以访问HDFS，还可以...

2019-02-28 18:03:44 2302

原创 CentOS 7.X 安装 CDH 6.0

请务必注意CDH6的安装前置条件包括如下：外部数据库支持：MySQL 5.7或更高MariaDB 5.5或更高PostgreSQL 8.4或更高Oracle 12c或更高JDKOracle JDK1.8，将不再支持JDK1.7操作系统支持RHEL 6.8或更高RHEL 7.2或更高SLES 12 SP2或更高Ubuntu 16或更高本次测试环境为1....

2019-02-28 16:51:51 2735

原创安装CDH后启动spark-shell报错解决方案

描述安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等。利用远程客户端在安装有spark的节点上，通过spark-shell启动spark，满怀期待的启动spark，but，来了个晴天霹雳，报错了，报错了！错误信息如下：19/02/28 13:45:06 ERROR spark....

2019-02-28 15:46:22 2269

jaysen1005的博客