翻斗花园牛爷爷..-CSDN博客

原创 hive与spark整合遇到的坑 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClienthive在与spark整合运行一次之后，hive的元数据存储的位置mysql中metastore表下的version表的版本号会发生变化

2022-09-23 15:18:36 694 1

原创 azkaban.jobExecutor.utils.process.ProcessFailureException

当遇到该问题的时候可能是HDFS中的文件权限不够，因此可以通过。来给HDFS文件所有权限，再运行可能就会通过了。

2022-09-23 14:23:30 488

原创 StringBuffer、StringBuilder

2、两个类的主要操作为append，insert，前者用于再末尾追加，后者用于在指定地方添加。1、 StringBuffer用于多线程，StringBuilder用于单线程。3、二者生成对应的对象时。

2022-09-15 16:36:08 247

原创大数据中一些组件的启动方式以及端口号总结

一些大数据组件的启动方式和端口号总结

2022-09-07 20:48:01 181

原创 Scala集合

scala集合

2022-09-06 21:15:04 148

原创 Scala面向对象编程语法

scala面向对象编程语法

2022-09-06 20:47:59 400

原创 Scala函数相关内容

scala函数相关的内容

2022-09-06 19:48:57 117

原创 Scala的概念以及基本语法

scala的概念以及基本语法

2022-09-05 22:11:45 157

原创 Flume相关内容

flume相关内容

2022-09-05 20:14:34 349

原创 Sqoop相关内容

sqoop相关内容

2022-09-05 19:48:23 358

原创 Hive中的HQL语句

hive语句

2022-09-04 15:59:59 410

原创 Spark Streaming相关内容

spark Streaming

2022-09-01 21:29:34 221

原创 Spark SQL之Dataset

Dataset

2022-09-01 20:54:00 1069

原创 hive数据仓库HQL语句之DDL语法

DDL

2022-08-29 20:42:34 894

原创 Spark SQL相关内容

spark SQL

2022-08-28 17:45:51 499

原创 Spark Core之RDD键值对算子

sparkCore之RDD键值对算子

2022-08-28 09:34:02 202

原创 Spark之Spark Core

spark Core

2022-08-25 21:36:33 352

原创 hive2.3.8的安装配置流程(伪分布式)

hive的安装配置

2022-08-23 21:46:39 336

原创 spark Core中RDD数值型算子

转换算子和行动算子

2022-08-23 21:36:28 347

原创 Spark2.3.1的安装运行(伪分布式)

spark安装运行

2022-08-23 21:14:15 744

原创 Hadoop之Yarn相关内容

Yarn

2022-08-21 20:49:23 115

原创 Hadoop之MapReduce相关内容

MapReduce

2022-08-21 20:36:39 434

原创 Hadoop之HDFS相关内容

HDFS

2022-08-21 16:01:05 775

原创 hadoop2.8.5安装配置(伪分布式)

前提Hadoop配置

2022-08-21 11:16:53 563

原创 Linux相关命令以及文件压缩

Linux相关命令文件压缩

2022-08-21 09:21:46 283

原创 zookeeper总结

一、什么是zookeeperzookeeper是一个为分布式框架提供协调服务的Apache项目二、zookeeper工作机制是一个基于观察者模式设计的分布式服务管理框架，负责存储和管理大家都关心的数据，然后接收观察者的注册，一旦这些数据的状态发生变化，zookeeper就将负责通知已经在zookeeper上注册的那些观察者做出相应的反应。三、 zookeeper特点一个leader，多个follower集群只要有半数以上的节点存活，zookeeper就能正常服务，所以zookeeper

2022-03-20 11:23:34 2671

原创 hadoop安装过2.7版本之后又安装3.0版本出现:ERROR: Cannot execute /export/server/hadoop-2.7.5/libexec/hadoop-config.s

我以前安装过Hadoop2.7版本之后今天需要重新安装3.0版本的时候出现上面的问题，并且删除了2.7版本还是无法正常安装3.0版本解决过程：1.cd /etc/。2.vim profile 中查找HADOOP_HOME将其删除。3.重新刷新一下文件 source /etc/profile即可。...

2022-03-11 16:12:44 1504 1

原创 Zookeeper的API客户端异常org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode

Zookeeper的API客户端异常org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /atguigu网上常见的解决方法是：关闭防火墙但是防火墙就是处于关闭状态，所以此方法不可用。经过调试发现 private static final int sessionTimeout = 10000 中设置的sessionTimeout值太小，应增大此值，问题解决。

2022-03-10 10:40:38 2539 3

原创 VMware Workstation Pro卸载重装后，虚拟网络编辑器没有VMnet0,以太网中更改适配器选项中没有VMnet1和8等问题

因为自己的手贱操作，将虚拟机卸载后再安装出现了标题中的问题，经过长达8个多小时的无脑操作，各种网上搜索，终于解决了这个无任何技术含量的问题。1. 如果卸载了又安装的小伙伴先把电脑上的VMware先卸载了。通过如下方法进行卸载。 windows + R 输入control 进入后点击卸载程序找到VMware Workstation Pro右键点击更改然后选择删除2. 下载软件CCleaner(因为有一些注册表需要删除，但太过琐碎，所有建议下载一个进行清理)下载前建议选择简体

2022-03-09 20:37:01 2089 1

原创面试题：重载和重写的区别

1. 重载(Overload)在一个类中，同名的方法如果有不同的参数列表(参数类型不同，参数个数不同，参数顺序不同)即视为重载，重载对返回值类型没有要求，可以相同也可以不同，所以不能通过返回值类型是否相同来判断是否重载。总结：重载是一个类中多态性的一种表现。重载要求方法名必须相同，参数列表必须不同(参数类型不同，参数个数不同，参数顺序不同)。重载的时候，返回值类型可以相同也可以不同，所以无法通过返回值类型是否相同来判断是否重载。2. 重写(Override)重写就是子类把父类本身的方法重写

2022-03-07 09:08:24 368

派大星的博客