大数据项目中的一些问题
大数据项目中出现的bug,我已经解决的都放在这里了!
学不会K8S不改ID
一切如愿!
展开
-
集群启动zookeeper,有一个节点一直无法启动!【已解决】
问题描述:在启动zookeeper集群时,第一个节点一直not running,怎么也起不来。解决方案:找到zookeeper的数据存储位置,即datadir,一般配置的时候我们会设置这个。在datadir目录下找到version-2文件夹,查看里面是否有内容。使用rm -f *命令删除version-2中的所有内容。重新启动zookeeper集群即可。启动成功!...原创 2021-06-08 08:46:13 · 3440 阅读 · 6 评论 -
用hive执行select查询,使用mapreduce离线查询就一直卡在这里,原来是yarn出了问题,两个节点都是standby!【已解决】
求高人指点!!!原创 2021-01-23 11:18:23 · 851 阅读 · 0 评论 -
启动 hive web 时使用 hive - -service hwi 报错:Unable to find a javac compiler...【已解决】
问题描述:启动 hive web 时使用 hive - -service hwi 报错:Problem accessing /hwi/. Reason:Unable to find a javac compiler; com.sun.tools.javac.Main is not on the classpath. Perhaps JAVA_HOME does not point to the JDK. It is currently set to “/home/hadoop/app/jdk1.8.0原创 2021-01-20 13:38:55 · 232 阅读 · 1 评论 -
win10系统,利用maven从命令行打包项目(包含maven环境变量配置)【已解决】
第一步:配置maven的环境变量。(若已配置maven环境变量可忽略第一步)1.计算机右键属性,选择高级系统设置 —> 高级 —> 环境变量2.系统变量中添加一个变量,变量名:MAVEN_HOME ,变量值:maven的安装目录。3.在变量path中添加一条: %MAVEN_HOME%\bin4.检查是否配置成功。 利用cmd打开命令行,输入mvn -vision。若出现以下情况即成功。第二步:利用maven从命令行打包项目win10中操作与windows之前版本略有不同。原创 2021-01-16 11:39:46 · 1257 阅读 · 1 评论 -
导入maven项目之后,项目里什么也没有,包括jar包,Maven dependencies,src文件,target文件。【已解决】
项目场景:导入maven项目之后,项目里什么也没有,包括jar包,Maven dependencies,src文件,target文件。正常情况应该是这样:解决方案:进入pom.xml右键选择 run as —> maven install右键选择 run as —> maven clean想要的东西就会出来了!另外若出现Missing artifact jdk.tools:jdk.tools:jar:1.6 报错。参考:https://blog.csdn.net/qq原创 2021-01-16 11:16:11 · 767 阅读 · 0 评论 -
导入maven项目时报错:org.apache.maven.archiver.MavenArchiver.getManifest【已解决】
问题描述:在Eclipse中导入Maven项目时,pom.xml第一行报错:org.apache.maven.archiver.MavenArchiver.getManifest(org.apache.maven.project.MavenProject,org.apache.maven.archiver.MavenArchiveConfiguration)原因分析:需要升级插件。解决方案:Help —> Install New SoftWare点击add添加:Name:Mave原创 2021-01-16 10:46:53 · 520 阅读 · 0 评论 -
Maven引入Hadoop依赖报错:Missing artifact jdk.tools:jdk.tools:jar:1.6【已解决】
解决方案:其中pom.xml中如果出现一个jdk1.6的missing报错,还要加一个依赖: <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.7</version> <scope>system</scope> <sy原创 2021-01-16 10:38:16 · 593 阅读 · 0 评论 -
在hbase shell中出错:org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
hbase shell报错原因分析:HDFS处于安全模式,应将其关闭。当分布式文件系统(HDFS)开始启动时,会有安全模式,HDFS处在安全模式下,文件系统中不允许修改和删除的操作。解决方案:关闭安全模式在hadoop目录下执行命令bin/hdfs dfsadmin -safemode leave如图:即可关闭安全模式,在hbase shell中写命令就不报错了!...原创 2021-01-12 13:17:13 · 684 阅读 · 3 评论 -
报错:The Load Balancer is not enabled which will eventually cause performance degradation in HBase...
报错:The Load Balancer is not enabled which will eventually cause performance degradation in HBase as Regions will not be distributed across all RegionServers.问题描述:在用web查看hbase的时候报这个错误。翻译一下:没有启用负载均衡器,这将最终导致HBASE中的性能下降,因为区域不会分布在所有RegionServers上。 解决方案:原创 2021-01-12 12:34:38 · 3589 阅读 · 0 评论 -
Linux下用yum安装出现:No package openssh-clients available【已解决】
报错:Linux下用yum安装出现:No package openssh-clients问题描述:最近在做一个大数据项目,使用的是VMware,搭了三个节点,Linux用的是centos2.6.0,本来要使用ssh实现远程免密码登录,发现用yum安装openssh-clients时报错:没有可用的openssh-clients包。原因分析:查了网上一些解决方法,最后发现,现在网上的源基本都已经不提供centos2.6.0的安装包了。最后找到官网的6.9的源还可以用。因此我们要重新配置一下CentO原创 2021-01-10 11:08:10 · 4871 阅读 · 5 评论 -
使用MapReduce实现简单的Wordcount(pom.xml基本配置)
使用MapReduce实现简单的Wordcount(基本配置):其中pom.xml中不仅要添加两个依赖hadoop-common和hadoop-client,如果出现一个jdk1.6的missing报错,还要加一个依赖: <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.7<原创 2021-01-10 11:29:38 · 755 阅读 · 0 评论