大数据
文章平均质量分 76
新城已无旧少年_
仅以此号纪念我的学习历程......
展开
-
Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open n
大家启动hiveserver2之后然后输入如sudo netstat -anp|grep 10000查看当前端口是否已经开了,如果开了就显示下面的红色字体就可以连接你的root了。然后打开yarn和hadoop myhadoop.sh start。关闭yarn和hadoop,也就是myhadoop.sh stop。用jpsall检查所有的线程然后把所有的RunJar杀死。用上面这条命令即可,一定全部都要杀死。开启这两个服务,然后静静等代一会。然后我已经连接上了,很完美。原创 2022-11-09 17:08:47 · 2176 阅读 · 0 评论 -
从java后端微服务学完第一次后,二次在hadoop里学完zookeeper的一些个人理解,超级详细,看了必会,小白必看
ZooKeeper 是一种集中式服务,用于维护配置信息、命名、提供分布式同步和提供组服务。所有这些类型的服务都由分布式应用程序以某种形式使用。每次实现它们时,都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实现这些类型的服务,应用程序最初通常会吝啬它们,这使得它们在发生更改时变得脆弱且难以管理。即使正确完成,这些服务的不同实现也会导致部署应用程序时的管理复杂性。下面是从官网粘贴的一份介绍,第二段是翻译。什么是zookeeper?原创 2022-11-08 18:25:33 · 597 阅读 · 0 评论 -
初学sparkcore时scala版本导入maven依赖的一些问题(一定对你有用的)
这种我们点进他们的jar包发现,他们有时候会缺少一部分jar包导致我们的提示不全,很大可能是由于我们maven下载的时候出现问题了,比如你正在下载的时候关掉了idea,等等.........但其实我们去找到这个仓库里面的jar包发现它是存在的,这个时候我们将他压缩到我们当前的文件夹,如果可以的话说明这个jar包是可以使用的。下面我们列出来在官网找到的部分关系信息,这里我们主要看spark在版本2.4之后的,想看其他版本的可以直接去我上面给的地址即可。2.换一个匹配关系,比如用spark3.0.0?原创 2022-11-02 21:56:53 · 1877 阅读 · 0 评论 -
spark核心板块之sparkCore详解(未完成)
Spark Core包含Spark的基本功能,如内存计算、任务调度、部署模式、故障恢复、存储管理等,SparkCore底层是RDD,即弹性分布式分布式数据集,底层又分为多个partition(分区),它本身是不存数据的,只是计算的时候数据存在于RDD中,RDD的产生意味着调用了算子。这样一系列通过调用算子生成的RDD,最终会生成DAG有向无环图。Spark 框架的核心是一个计算引擎,整体来说,它采用了标准。的定义,因为在整个的编程过程中没有看到任何有关。进程内的,因此任务可以在运行时充分利用缓存。原创 2022-10-30 16:16:01 · 615 阅读 · 0 评论 -
大数据之spark详解
Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。属于mapreduce的加强版本,结合了其优点而且spark是可以将数据保存在内存中。从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。平台上针对实时数据进行流式计算的组件,提供了丰富的处理。出现的时间相对较晚,并且主要功能主要是用于数据计算,平台上针对实时数据进行流式计算的组件,提供了丰富的。额外的功能,还提供了一些更底层的机器学习原语。语言开发的快速、通用、可扩展的。原创 2022-10-30 15:44:57 · 1369 阅读 · 0 评论 -
linux下hadoop集群并且配置安装百分百成功
然后我们打开hadoop102进行安装hadoop,将我们下载好的压缩包利用xftp移到我们的虚拟机文件夹下分别是jdk包和hadoop包,这个虚拟机的文件夹自己没有的创建一个就行,地方都无所谓我是在opt目录下创建的一个software用来存放。到此我们的hadoop个人配置就已经配置好了,但这个只是hadoop102上面的配置我们需要在103,104上面都需要配置,复制即可。(2)添加如下内容 ,JAVA_HOME后面的路径就是你自己安装jdk的路径,保存后退出,先按esc再按wq保存。原创 2022-10-27 15:35:14 · 719 阅读 · 0 评论 -
spark学习之maven导入依赖的一些问题
maven版本过高会无法导入部分scala的依赖,但也不必担心我们换一个版本即可,我这里用的maven仓库版本是3.8.6差不多是最新版的了(现在最新版本的是4.0了),刚开始导入依赖会出现很多问题,maven提示下载好了,但是依赖并没有导入进来导致jar还是不可用,所以这时候我们应该改变version才可以。解决方法:我们换一种方式去导入,把版本也换了,这个时候我们发现maven无法下载了。问题真的多,我去上网查了之后人家让加一个阿里云的依赖就好了,然后我加了最后就好了,下面是完成体。原创 2022-10-29 11:25:08 · 2912 阅读 · 1 评论