大数据——那些年走过的坑（异常报错解决方案，持续更新）

最新推荐文章于 2024-05-15 12:02:21 发布
最新推荐文章于 2024-05-15 12:02:21 发布
阅读量1.2w 收藏 1
点赞数 2
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sweet19920711/article/details/119355106
版权

1. Sqoop将mysql中表导入到hive遇到 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.

2021-08-03 21:13:28,937 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
2021-08-03 21:13:28,938 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
	at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:50)
	at org.apache.sqoop.hive.HiveImport.getHiveArgs(HiveImport.java:392)
	at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:379)
	at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:337)
	at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241)
	at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:537)
	at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628)
	at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
	at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
	at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:264)
	at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:44)
	... 12 more

解决方案1：

往~/.bashrc最后加入 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
然后刷新配置，source ~/.bashrc

解决方案2：

将hive中的hive-common-3.1.2.jar拷贝至sqoop的lib目录下

[root@singleNode bin]# find /opt/install/hive/ -name 'hive-common*.jar'
/opt/install/hive/lib/hive-common-3.1.2.jar
[root@singleNode bin]# cp /opt/install/hive/lib/hive-common-3.1.2.jar /opt/install/sqoop/lib/

2. 使用sqoop从mysql导数据到hive报错ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")

2018-06-22 12:28:32,398 main ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")</strong>
        at java.security.AccessControlContext.checkPermission(AccessControlContext.java:472)
        at java.lang.SecurityManager.checkPermission(SecurityManager.java:585)
        at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.checkMBeanTrustPermission(DefaultMBeanServerInterceptor.java:1848)
        at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.registerMBean(DefaultMBeanServerInterceptor.java:322)
        at com.sun.jmx.mbeanserver.JmxMBeanServer.registerMBean(JmxMBeanServer.java:522)
        at org.apache.logging.log4j.core.jmx.Server.register(Server.java:379)
        at org.apache.logging.log4j.core.jmx.Server.reregisterMBeansAfterReconfigure(Server.java:171)
        at org.apache.logging.log4j.core.jmx.Server.reregisterMBeansAfterReconfigure(Server.java:147)
        at org.apache.logging.log4j.core.LoggerContext.setConfiguration(LoggerContext.java:457)
        at org.apache.logging.log4j.core.LoggerContext.start(LoggerContext.java:246)
        at org.apache.logging.log4j.core.impl.Log4jContextFactory.getContext(Log4jContextFactory.java:230)
        at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:140)
        at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:113)
        at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:98)
        at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:156)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jDefault(LogUtils.java:121)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:73)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:54)
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:661)
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:645)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:331)
        at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241)
        at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:537)
        at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

18/06/22 12:28:32 WARN common.LogUtils: hive-site.xml not found on CLASSPATH

Logging initialized using configuration in jar:file:/home/hive/lib/hive-exec-2.0.0.jar!/hive-log4j2.properties
18/06/22 12:28:32 INFO SessionState:
Logging initialized using configuration in jar:file:/home/hive/lib/hive-exec-2.0.0.jar!/hive-log4j2.properties
18/06/22 12:28:32 INFO metastore.HiveMetaStore: 0: Opening raw store with implementation class:org.apache.hadoop.hive.metastore.ObjectStore
18/06/22 12:28:32 INFO metastore.ObjectStore: ObjectStore, initialize called
18/06/22 12:28:33 WARN DataNucleus.General: Plugin (Bundle) "org.datanucleus.api.jdo" is already registered. Ensure you dont have multiple JAR versions of the same plugin in the classpath. The URL "file:/home/hive/lib/datanucleus-api-jdo-4.2.1.jar" is already registered, and you are trying to register an identical plugin located at URL "file:/home/sqoop/lib/datanucleus-api-jdo-4.2.1.jar."
18/06/22 12:28:33 WARN DataNucleus.General: Plugin (Bundle) "org.datanucleus.store.rdbms" is already registered. Ensure you dont have multiple JAR versions of the same plugin in the classpath. The URL "file:/home/hive/lib/datanucleus-rdbms-4.1.7.jar" is already registered, and you are trying to register an identical plugin located at URL "file:/home/sqoop/lib/datanucleus-rdbms-4.1.7.jar."
18/06/22 12:28:33 WARN DataNucleus.General: Plugin (Bundle) "org.datanucleus" is already registered. Ensure you dont have multiple JAR versions of the same plugin in the classpath. The URL "file:/home/hive/lib/datanucleus-core-4.1.6.jar" is already registered, and you are trying to register an identical plugin located at URL "file:/home/sqoop/lib/datanucleus-core-4.1.6.jar."
18/06/22 12:28:33 INFO DataNucleus.Persistence: Property hive.metastore.integral.jdo.pushdown unknown - will be ignored
18/06/22 12:28:33 INFO DataNucleus.Persistence: Property datanucleus.cache.level2 unknown - will be ignored
18/06/22 12:28:41 ERROR bonecp.BoneCP: Unable to start/stop JMX

解决方案1：

修改jdk的文件jdk1.8.0_11/jre/lib/security/java.policy
具体配置如下：在文件中添加如下内容

grant {
        permission javax.management.MBeanTrustPermission "register";
}；

解决方案2：

将hive-site.xml复制到sqoop的conf目录下即可

3. 虚拟机重启后虚拟机内docker镜像连不上 Error response from daemon: Container xxxx is not running

解决方案

查看sysctl net.ipv4.ip_forward状态 若为0就需要修改

file

具体使用的几个命令

  • echo ‘net.ipv4.ip_forward = 1’ >> /usr/lib/sysctl.d/50-default.conf
  • sysctl -p /usr/lib/sysctl.d/50-default.conf

4. Sqoop空指针异常报警 ERROE: sqoop.Sqoop:Got exception running Sqoop: java.lang.NullPointerException java.lang.NullPointerException

 解决方案：

1）检查sqoop-site.xml配置是否有缺失

2）添加json依赖(需要自己找下这个jar包)

cp /opt/software/java-json.jar /opt/install/sqoop/lib/

5. Sqoop运行时 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader
	at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf.java:370)
	at org.apache.hadoop.hive.conf.HiveConf.<clinit>(HiveConf.java:108)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:264)
	at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:44)
	at org.apache.sqoop.hive.HiveImport.getHiveArgs(HiveImport.java:392)
	at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:379)
	at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:337)
	at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241)
	at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:530)
	at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621)
	at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
	at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
	at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.shims.ShimLoader

解决方案：

cp /opt/install/hive/lib/hive-shims* /opt/install/sqoop/lib/

6. Sqoop 文件已存在异常报警 ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException

2021-08-04 02:02:52,989 ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://singleNode:8020/user/root/temp already exists
        at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:164)
        at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:277)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:143)
        at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1570)
        at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1567)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1567)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1588)
        at org.apache.sqoop.mapreduce.ImportJobBase.doSubmitJob(ImportJobBase.java:200)
        at org.apache.sqoop.mapreduce.ImportJobBase.runJob(ImportJobBase.java:173)
        at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:270)
        at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:692)
        at org.apache.sqoop.manager.MySQLManager.importTable(MySQLManager.java:127)
        at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:520)
        at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

解决方案：

删除掉提示的文件即可

7. Sqoop 创建从mysql向hive表中增量导入的job时空指针异常报警 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException

 解决方案：

删除sqoop的lib文件夹中的hive-exec-3.1.2.jar

rm -f /opt/install/lib/hive-exec-3.1.2.jar

8. Hive中运行任务报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

错误原因
第一种，yarn资源不足
原因：
该错误是YARN的虚拟内存计算方式导致，上例中用户程序申请的内存为1Gb，YARN根据此值乘以一个比例（默认为2.1）得出申请的虚拟内存的值，当YARN计算的用户程序所需虚拟内存值大于计算出来的值时，就会报出以上错误。调节比例值可以解决该问题。具体参数为：yarn-site.xml中的yarn.nodemanager.vmem-pmem-ratio

解决方案：

调整hadoop配置文件yarn-site.xml中值：

vim /opt/install/hadoop/etc/hadoop/yarn-site.xml
-----------------------------------------------------------

<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
   <description>default value is 1024</description>
</property>

重启hiveserver2 

9. Mysql远程登录权限异常报警 java.sql.SQLException: Access denied for user 'root'@'localhost'

image-20210804104617777

解决方案： 

设置远程登入权限并刷新

# 启动服务
systemctl start mysql
# 修改MySQL密码
/usr/bin/mysqladmin -u root password 'root'
# 登陆MySQL设置权限
mysql -uroot -proot 
> update mysql.user set host='%' where host='localhost';
> delete from mysql.user where host<>'%' or user='';
> flush privileges;

10.flink yarn-session.sh启动出现java.lang.NoClassDefFoundError: org/apache/hadoop/fs/Path

2021-08-09 02:15:33,593 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli                [] - Error while running the Flink session.
java.lang.NoClassDefFoundError: org/apache/hadoop/fs/Path
	at org.apache.flink.yarn.cli.FlinkYarnSessionCli.getLocalFlinkDistPathFromCmd(FlinkYarnSessionCli.java:347) ~[flink-dist_2.12-1.13.2.jar:1.13.2]
	at org.apache.flink.yarn.cli.FlinkYarnSessionCli.applyDescriptorOptionToConfig(FlinkYarnSessionCli.java:473) ~[flink-dist_2.12-1.13.2.jar:1.13.2]
	at org.apache.flink.yarn.cli.FlinkYarnSessionCli.toConfiguration(FlinkYarnSessionCli.java:394) ~[flink-dist_2.12-1.13.2.jar:1.13.2]
	at org.apache.flink.yarn.cli.FlinkYarnSessionCli.run(FlinkYarnSessionCli.java:571) ~[flink-dist_2.12-1.13.2.jar:1.13.2]
	at org.apache.flink.yarn.cli.FlinkYarnSessionCli.lambda$main$4(FlinkYarnSessionCli.java:860) ~[flink-dist_2.12-1.13.2.jar:1.13.2]
	at org.apache.flink.runtime.security.contexts.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:28) ~[flink-dist_2.12-1.13.2.jar:1.13.2]
	at org.apache.flink.yarn.cli.FlinkYarnSessionCli.main(FlinkYarnSessionCli.java:860) [flink-dist_2.12-1.13.2.jar:1.13.2]
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.Path
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381) ~[?:1.8.0_171]
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424) ~[?:1.8.0_171]
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) ~[?:1.8.0_171]
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ~[?:1.8.0_171]
	... 7 more

解决方案：

将flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar拷贝至flink的bin目录下

链接：https://pan.baidu.com/s/1a9bdL2amXq0lyZMDF2GLhw 
提取码：ltpc 

11. flink 启动时Maximun Memory:1536MB Requeested:1600MB

解决方案：

vim /opt/software/hadoop/etc/hadoop/yarn-site.xml
<!--yarn容器允许分配的最大内存-->
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
</property>
<!--yarn容器允许管理的物理内存大小-->
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
</property>

12. Multiple Executor Mode模式配置配置对executor主机内存限制

解决方案：

修改 web-server conf/azkaban.properties 配置
# execute 主机过滤器配置, 去掉 MinimumFreeMemory
# MinimumFreeMemory 过滤器会检查 executor 主机空余内存是否会大于 6G，如果不足 6G，则 web-server 不会将任务交由该主机执行
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

Vicky_Tang
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
安装azkaban
坚持才会胜利
04-30 1103
一、azkaban文件下载 到https://github.com/azkaban/azkaban下载zip文件，利用CRT 将文件上传至liunx服务器 网盘地址：链接：https://pan.baidu.com/s/1qk5V45xd-hqP5Tk4gl_TBg 密码：gx41 二、编译： 执行以下命令 在编译时要求环境java8、安装git gcc g++ 1.java8环境安装...
ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException 解决方案【SOLVED】
热门推荐
luosayiran的博客
03-26 1万+
洛萨之锋公司最近需要使用sqoop利用hcatalog将数据从mysql导入到hive，我在导数据的时候碰到这样的问题： ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException. 具体Exception是： java.lang.NullPointerException at jav
移动烽火HG光猫超密破解
最新发布
阿拉丁的知识分享库
05-15 1416
输入密码（Fh@后面的是mac地址的后六位（小写字母转为大写））： Fh@78B450。key 是第一步查询的mac地址，去掉横线、小写字母转为大写。telnetenable=1 开启telnet功能。输入： load_cli factory。输入： show admin_name。输入： show admin_pwd。最后获取的超级用户名和密码为。2、开启telnet功能。输入用户名： admin。
Hadoop集群之hive集成mysql作为元数据的方法及错误排解（hive-site.xml文件无法生效）
Just Do IT !
03-22 4213
Hadoop集群之hive集成mysql作为元数据的方法及错误排解（hive-site.xml文件无法生效）：hive集成mysql的本地模式不起作用，还发现该目录下生成了metastore_db文件，即derby的默认数据库；证明刚才配置的文件都没有生效；这样的问题继续了好几天，期间也怀疑是不是hive的版本不对，还是安装的mysql版本不匹配，或者mysql的jdbc驱动版本不对，试过很多方法，但是都没有解决问题；通过调试 hive -hiveconf hive.root.logger=DEBUG,c
Hadoop个人心得笔记之上传文件错误
LiuY521的博客
06-28 1979
Hadoop上传文件错误 目录 Hadoop上传文件错误org.apache.hadoop.ipc.RemoteException(java.io.IOException) 1.文件上传失败： 2.解决方案： 1、停止集群（切换到/sbin目录下） 2、删除在hdfs中配置的data目录（ 3、重新格式化namenode...
hive-site.xml修改之后不生效与一些beeline，hiveserver2的报错
大数据机器学习
03-12 693
这个是说关于hive.metastore.ds.retry.*这些配置已经不起作用，使用hive.hmshandler.retry.*来配置，这也是版本迭代更新的问题，不过警告在测试环境中，一般来说是没什么太大关系的，但是真实开发还是要好好关注下是什么情况。解释：如果你是用默认的配置文件，hive会连接自带的derby数据库，会在hive的根目录下生成derby.log这个日志文件，并且当启动两个bin/hive的时候，就会报错（如果是mysql就不会）它总是加载默认的配置文件，很烦。
剑指大数据——Flink学习精要（Java版)最终修订版
06-18
《剑指大数据——Flink学习精要（Java版）》是一部深入探讨大数据处理技术的专著，特别聚焦于Apache Flink这一实时计算框架。在Java编程环境下，Flink以其高效、稳定和强大的流处理能力，成为了大数据领域的热门选择...
剑指大数据——Flink学习精要（Java版）
06-20
Flink 是 Apache 基金会旗下的一个开源大数据处理框架，目前已经成为各大公司大数据实时处理的发力重点。Flink 的主要特点是快速、灵巧，能够实现大数据实时处理。Flink 项目起源于一个叫作 Stratosphere 的研究项目...
剑指大数据——Flink学习精要_java版
04-21
Flink 是一个由 Apache 软件基金会旗下的开源大数据处理框架，当前已经成为各大公司大数据实时处理的发力重点。Flink 起源于一个叫作 Stratosphere 的项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔...
大数据——数据清洗加工技术架构方案（修改版）
01-25
"大数据——数据清洗加工技术架构方案（修改版）" 在大数据时代，数据清洗加工技术架构方案是一个非常重要的组成部分。数据清洗是指对原始数据进行处理、转换和标准化，以确保数据的质量和一致性。今天，我们将对...
《剑指大数据——Flink学习精要（Java版）》（最终修订版）.pdf
03-25
《剑指大数据——Flink学习精要（Java版）》（最终修订版）.pdf 《剑指大数据——Flink学习精要（Java版）》（最终修订版）是一本关于Flink大数据处理框架的深入学习指南。Flink是一个开源大数据处理框架，由Apache...
HDFS多用户时的权限问题
来啊 快活啊
08-21 1万+
今天用Cloudera Manager安装Hive时老不成功，不能初始化数据库表，遇到很多问题，最后手工初始化，解决的，但是挡在hive命令行执行写入类命令比如创建数据库或表时出现以下问题： [code lang="xml"] 14/07/23 01:07:14 ERROR hive.log: Got exception: org.apache.hadoop.security.Acce
hive 0.12 安装配置
vah101的专栏
01-22 1万+
http://www.linuxfs.com/?p=12   基本安装过程参考hive官方的安装指导： https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallationandConfiguration   但有些细节官方指导并没有写，需要注意：   1. 生成配置
flink启动报错，缺少Hadoop依赖jar包解决
zhou_zhao_xu的博客
03-03 4646
错误内容 解决办法 该错误是flink中缺少hadoop的依赖jar包，下载相关jar（flink-shaded-hadoop-2-uber-2.8.3-10.0.jar），导入lib包下即可
Hive 运维中遇到的问题
h952520296的博客
11-11 2571
1、hive查询并行度问题 开发同事问为什么他的查询都是排队的 第一个完成后才会开始第二个 ，查询文档后找到这样一个参数 执行程序初始数 spark.dynamicAllocation.initialExecutors 刚开始是1 配置了2 之后开发同事反馈第三个开始排队 ，确认配置的有效 .........
hadoop 3.x 案例2:登陆hive异常 Unable to find config file hivemetastore-site.xml
只是甲的博客
12-12 1038
大数据开发 Hive 显示异常
[HADOOP]我所遇到的Hadoop报错(更新中)
MyNameIsWangYi的博客
06-21 1490
我得集群上安装了三套hadoop，所以冲突的时候也属于意料之中了。删除namenode格式化所需要目录 这样就可以显示succeefully 然后进入bin目录 会出现successfully就是ok了 原因：由于配置了ha模式，执行命令的机器不是active节点 下面是换成第一个节点，执行以下命令， 输入Y。 然后切换到nn1的节点 阿这，不报错了。..................
IDEA连接kerberos环境的HDFS集群报错整理
NC_NE的博客
02-18 3038
连接hdfs代码 public class HdfsTest { public static void main(String[] args) throws IOException { System.setProperty("java.security.krb5.conf", "hdfs-conf-kerberos\\krb5.conf"); Configuration conf = new Configuration(); conf.set("f
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Vicky_Tang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值