hadoop 报错解决汇总

最新推荐文章于 2021-06-24 23:35:04 发布
最新推荐文章于 2021-06-24 23:35:04 发布
阅读量2k 收藏 1
点赞数 2
分类专栏： hadoop
  • Name node is in safe mode

这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。

可以通过以下命令来手动离开安全模式：

hdfs dfsadmin -safemode leave
  • 内存分配不合理

表现


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     2017
     
     -12-14 18
     
     :32
     
     :32,336 
     
     ERROR 
     
     [Thread-52] 
     
     org
     
     .apache
     
     .hadoop
     
     .mapreduce
     
     .v2
     
     .app
     
     .rm
     
     .RMContainerAllocator: 
     
     Could 
     
     not 
     
     deallocate 
     
     container 
     
     for 
     
     task 
     
     attemptId 
     
     attempt_1513247318192_0014_r_000008_0
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     2017
     
     -12-14 19
     
     :20
     
     :22,161 
     
     ERROR 
     
     [RMCommunicator Allocator] 
     
     org
     
     .apache
     
     .hadoop
     
     .mapreduce
     
     .v2
     
     .app
     
     .rm
     
     .RMContainerAllocator: 
     
     Container 
     
     complete 
     
     event 
     
     for 
     
     unknown 
     
     container 
     
     id 
     
     container_1513249512179_0014_01_000064

解决办法

修改map，reduce内存和堆栈内存

可能是因为设置大了，也可能是因为设置小了。要根据机器配置修改

保证为map 和reduce分配内存的时候不会超过节点的内存


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     yarn
     
     .nodemanager
     
     .resource
     
     .memory-mb=
     
     2G
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     yarn
     
     .scheduler
     
     .maximum-allocation-mb=
     
     4G
  • 时钟不同步

各种报错 安装ntp

yum install ntp

配置ntp


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     restrict 
     
     default ignore   
     
     //默认不允许修改或者查询ntp,并且不接收特殊封包
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     restrict 
     
     127.0
     
     .0
     
     .1        
     
     //给于本机所有权限
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     restrict 
     
     192.168
     
     .56
     
     .0 mask 
     
     255.255
     
     .255
     
     .0 notrap nomodify  
     
     //给于局域网机的机器有同步时间的权限
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     server  
     
     192.168
     
     .56
     
     .121     
     
     # local clock
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     driftfile /var/lib/ntp/drift
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     fudge   
     
     127.127
     
     .1
     
     .0 stratum 
     
     10

启动 ntp：

service ntpd start

设置开机启动:

chkconfig ntpd on
  • hdfs块丢失

1、首先退出hdfs namenode safe mode

hadoop dfsadmin -safemode leave

2、修复hdfs丢失的块


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     hadoop fsck /
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     hdfs fsck  /  -
     
     delete 
     
     //此方式会将丢失的块全部删除
  • HDFS 块副本数不足

块

在HDFS中，文件是以块（block）的形式存储的，而HDFS的设计初衷也是用来处理大文件的，使用抽象块正好可以满足这一需求。具体来说，比如一个很大的文件，在单一的节点上存储是不可能的，HDFS使用逻辑块的方式将这个很大的文件分成很多块，分别存储在各个节点机器上，从而实现了大文件的存储。 使用抽象块作为操作的单元，方便了存储系统的管理，具体来说，就是把文件块放在DataNode上存储，把文件的元数据信息放到NameNode上管理。 最后，通过给块设置副本，可以实现容错机制。

1.设置副本数

cdh界面选择hdfs,选择配置设置

dfs.replication=datanode的数量

2.修改之前的副本数

hadoop fs -setrep -R 【1中设置的副本数】/
  • hive崩溃

报错：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     [root@hs01 hive]
     
     # hive
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Java HotSpot(TM) 
     
     64-
     
     Bit Server VM warning: ignoring 
     
     option MaxPermSize=
     
     512M
     
     ; support was removed in 8.0
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     2017
     
     -12
     
     -20 
     
     14:
     
     31:
     
     54,
     
     793 WARN  [main] mapreduce.TableMapReduceUtil: The hbase-
     
     prefix-tree 
     
     module 
     
     jar containing 
     
     PrefixTreeCodec 
     
     is 
     
     not present.  Continuing without it.
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Java HotSpot(TM) 
     
     64-
     
     Bit Server VM warning: ignoring 
     
     option MaxPermSize=
     
     512M
     
     ; support was removed in 8.0
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Logging initialized 
     
     using configuration 
     
     in 
     
     jar:file:/opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/jars/hive-common-1.1.0-cdh5.7.1.jar!/hive-log4j.properties
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Exception 
     
     in thread 
     
     "main" 
     
     java.lang.RuntimeException: 
     
     java.lang.RuntimeException: Unable 
     
     to 
     
     instantiate 
     
     org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at 
     
     org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:540)
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at 
     
     org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:689)
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at 
     
     org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:628)
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.
     
     java:62)
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.
     
     java:43)
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at 
     
     java.lang.reflect.Method.invoke(Method.java:498)
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at 
     
     org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at 
     
     org.apache.hadoop.util.RunJar.main(RunJar.java:136)
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Caused 
     
     by: 
     
     java.lang.RuntimeException: Unable 
     
     to 
     
     instantiate 
     
     org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at 
     
     org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1493)
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at 
     
     org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:67)
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at 
     
     org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:82)
    
    
    
   
   
  21. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at 
     
     org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2935)
    
    
    
   
   
  22. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at 
     
     org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2954)
    
    
    
   
   
  23. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     at 
     
     org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:513)
    
    
    
   
   
  24. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	... 
     
     8 more

解决办法

Can you please follow below steps and share the result?.

  1. Find out the node which hosting hive metastore service, you can use ambari to figure out the ip/hostname for that node.

  2. ssh root login to that hive metastore node and execute below commands.

bash# ps -aef|grep -i org.apache.hadoop.hive.metastore.HiveMetaStore

bash# lsof -i:9083

  1. From some other node try connecting hivemetastore port using telnet.

bash# telnet <hivemeta server> 9083

If 9083 port is not occupied and ps command doesn't show any metastore process then please try to restart the hivemestore service from ambari UI and perform same check again.

  • Hive 报错，元数据库找不到

报错内容


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Query 
     
     for candidates 
     
     of org
     
     .apache
     
     .hadoop
     
     .hive
     
     .metastore
     
     .model
     
     .MPartitionColumnStatistics 
     
     and subclasses resulted 
     
     in no possible candidates
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Required 
     
     table missing : 
     
     "`CDS`" 
     
     in Catalog 
     
     "" Schema 
     
     "". DataNucleus requires this 
     
     table 
     
     to perform its persistence operations. Either your MetaData 
     
     is incorrect, 
     
     or you need 
     
     to enable 
     
     "datanucleus.autoCreateTables"
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     org
     
     .datanucleus
     
     .store
     
     .rdbms
     
     .exceptions
     
     .MissingTableException: Required 
     
     table missing : 
     
     "`CDS`" 
     
     in Catalog 
     
     "" Schema 
     
     "". DataNucleus requires this 
     
     table 
     
     to perform its persistence operations. Either your MetaData 
     
     is incorrect, 
     
     or you need 
     
     to enable 
     
     "datanucleus.autoCreateTables"
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	at org
     
     .datanucleus
     
     .store
     
     .rdbms
     
     .table
     
     .AbstractTable
     
     .exists(AbstractTable
     
     .java:
     
     485)

先检查hive下是否有mysql驱动程序

解决办法

1.Go to the $HIVE_HOME and run the initschema option on the schematool:

bin/schematool -dbType mysql -initSchema

2.修改hive配置，允许自己建表建视图


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     <property>
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     <name>datanucleus.autoCreateTables
     
     </name>
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     <value>True
     
     </value>
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     </property>

然后重启

3.查看查看hive 用到的库，比如mysql中的hive库

登录mysql

mysql -uroot -p******

查看表


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     use hive;
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     show 
     
     tables;
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     select * 
     
     from [sometable]

表大致如下：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     +---------------------------+
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      Tables_in_hive 
     
     |
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     +---------------------------+
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      bucketing_cols 
     
     |
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      cds 
     
     |
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      columns_v2 
     
     |
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      compaction_queue 
     
     |
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      completed_txn_components 
     
     |
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      database_params 
     
     |
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      db_privs 
     
     |
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      dbs 
     
     |
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      delegation_tokens 
     
     |
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      func_ru 
     
     |
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      funcs 
     
     |
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      global_privs 
     
     |
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      hive_locks 
     
     |
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      idxs 
     
     |
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      index_params 
     
     |
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      master_keys 
     
     |
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      next_compaction_queue_id 
     
     |
    
    
    
   
   
  21. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      next_lock_id 
     
     |
    
    
    
   
   
  22. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      next_txn_id 
     
     |
    
    
    
   
   
  23. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      notification_log 
     
     |
    
    
    
   
   
  24. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      notification_sequence 
     
     |
    
    
    
   
   
  25. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      nucleus_tables 
     
     |
    
    
    
   
   
  26. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      part_col_privs 
     
     |
    
    
    
   
   
  27. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      part_col_stats 
     
     |
    
    
    
   
   
  28. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      part_privs 
     
     |
    
    
    
   
   
  29. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      partition_events 
     
     |
    
    
    
   
   
  30. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      partition_key_vals 
     
     |
    
    
    
   
   
  31. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      partition_keys 
     
     |
    
    
    
   
   
  32. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      partition_params 
     
     |
    
    
    
   
   
  33. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      partitions 
     
     |
    
    
    
   
   
  34. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      role_map 
     
     |
    
    
    
   
   
  35. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      roles 
     
     |
    
    
    
   
   
  36. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      sd_params 
     
     |
    
    
    
   
   
  37. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      sds 
     
     |
    
    
    
   
   
  38. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      sequence_table 
     
     |
    
    
    
   
   
  39. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      serde_params 
     
     |
    
    
    
   
   
  40. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      serdes 
     
     |
    
    
    
   
   
  41. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      skewed_col_names 
     
     |
    
    
    
   
   
  42. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      skewed_col_value_loc_map 
     
     |
    
    
    
   
   
  43. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      skewed_string_list 
     
     |
    
    
    
   
   
  44. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      skewed_string_list_values 
     
     |
    
    
    
   
   
  45. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      skewed_values 
     
     |
    
    
    
   
   
  46. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      sort_cols 
     
     |
    
    
    
   
   
  47. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      tab_col_stats 
     
     |
    
    
    
   
   
  48. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      table_params 
     
     |
    
    
    
   
   
  49. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      tbl_col_privs 
     
     |
    
    
    
   
   
  50. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      tbl_privs 
     
     |
    
    
    
   
   
  51. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      tbls 
     
     |
    
    
    
   
   
  52. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      txn_components 
     
     |
    
    
    
   
   
  53. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      txns 
     
     |
    
    
    
   
   
  54. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      type_fields 
     
     |
    
    
    
   
   
  55. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      types 
     
     |
    
    
    
   
   
  56. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     |
     
      version 
     
     |
    
    
    
   
   
  57. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     +---------------------------+

4.终极解决方案

重新安装hive，元数据库改名为hive2或者其他什么名字

  • sqoop : 缺少驱动

报错：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     The
     
      Network Adapter could 
     
     not establish the
     
      connection
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     No columns 
     
     to generate 
     
     for ClassWriter
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Could 
     
     not load db driver 
     
     class: com.mysql.jdbc.Driver

解决办法


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     wget 
     
     http:
     
     /
     
     /central.maven.org/maven
     
     2/mysql/mysql-connector-java/
     
     5.1
     
     .
     
     45
     
     /mysql-connector-java-
     
     5.1
     
     .
     
     45
     
     .jar
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     cp mysql-connector-java-
     
     5.1.
     
     35-bin.jar /opt/cloudera/parcels/CDH-
     
     5.0.
     
     2-
     
     1.cdh5.
     
     0.2.p0.
     
     13/
     
     lib/sqoop/lib/
  • CDH交换内存异常

关闭系统交换区

立即生效

swapoff –a

建议永久关闭

sysctl vm.swappiness=0
转载：https://blog.csdn.net/boomhankers/article/details/78925460
frank_jyp
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
5.Apache Kylin 构建 第一步报错 Container complete event for unknown container
终回首的博客
02-08 2006
版本： Apache Kylin 3.0.0 一、问题 build cube第一步（#1 Step Name: Create Intermediate Flat Hive）报错 Container complete event for unknown container Hive Runtime Error: Map local work exhausted memory yarn job日志： 2021-02-08 17:00:18,379 INFO [RMCommunicator Allocator
spark的yarn模式，报错Unknown container
qq_43494678的博客
04-29 712
spark的yarn模式，executors的stdout里报错Unknown container 报错 java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn't belong tothis node at all. 解决： 配置yarn-site.xml <property> <name>yarn.log.
Could not deallocate container for task attemptId attempt_1527460471557_511564_r_000000_0
B11050101的博客
09-26 3600
hive任务执行出错，map和reduce进程一直为0% 查看log日志发现，报错如下：Could not deallocate container for task attemptId attempt_XXX 从字面意思可知，是因为没有给任务分配container，在创建容器的过程中出错了。 通过查阅资料发现，主要是以下两个原因： （1）nodemanager内存不够； （2）yarn...
sqoop导入hive遇到的一些问题
玉麒麟
09-05 2290
Required table missing : "DBS" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable "datanucleus.schema.autoCreateTables" org.datanucleus.store.rdbms.except
hive mysql 失败_不良 : Hive Metastore canary 创建数据库失败
weixin_34529812的博客
03-06 2283
本帖最后由 CCDK 于 2017-7-28 09:01 编辑7月 28, 早上8点47:56.638INFOorg.apache.hadoop.hive.metastore.HiveMetaStore[main]: Starting hive metastore on port 90837月 28, 早上8点47:56.970INFOorg.apache.hadoop.hive.metastor...
hadoop搭建中的错误
Irene122的博客
06-24 301
hadoop搭建中的错误 1 在配置时输入jps的时候缺少SecondaryNameNode 的情况 要先sbin/stop-dfs.sh关闭进程后再次启动sbin/start-dfs.sh 即可 如果没有 NameNode 或 DataNode ，那就是配置不成功，就按照伪分布配置的步骤一步步重新做，问题基本就能解决了。 配置集群/分布式环境时 已经启动了start-dfs.sh start-yarn.sh mr-jobhistory-daemon.sh start historyserver 但是输入j
hadoop一些常见报错的解决方案
随便记点东西
07-15 4792
hadoop环境配置过程中可能遇到问题的解决方案
CDH集群大数据hadoop报错解决办法及思路整理-绝对干货
12-22
CDH集群大数据hadoop报错解决办法及思路整理，主要解决大数据在运行过程中所遇到的问题，相关解决办法都是实践验证过。
mac hadoop报错native 需要的包
10-10
针对这个问题，我们需要深入了解Hadoop的运行机制以及如何在MacOS环境下解决这个问题。 Hadoop是一个分布式计算框架，它使用Java编写，但为了提高性能，它依赖于一些本地库（如libhadoop.so），这些库提供了与操作...
解决hadoop本地运行报错
10-11
org.apache.hadoop.io.nativeio.NativeIO.java解决办法 将org放入项目的工程目录下 本地运行MR必备的源码包，本地运行MR必备的源码包，本地运行MR必备的源码包，
Logstash6整合Hadoop-报错与解决方案.docx
10-26
Logstash6 整合 Hadoop 的报错解决方案需要检查多个方面，包括 Hadoop 集群的配置、Logstash 的配置、网络连接、Logstash 和 Hadoop 之间的连接等。只有当所有这些方面都正确无误时，Logstash6 和 Hadoop 才能正确...
windows下Hadoop报错null\bin\winutils.exe-附件资源
03-05
windows下Hadoop报错null\bin\winutils.exe-附件资源
hadoop.dll 文件，解决报错所需文件
最新发布
04-11
报错：java.lang.Exception: java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 所需文件
hive搭建之嵌入模式
枣泥馅的博客
04-24 957
hive搭建之嵌入模式 hive是基于hdfs和yarn平台的，所以在搭建之前先把hadoop搭建起来 什么是hive的嵌入模式 我认为hive的嵌入模式就是它使用的创建元信息的数据库是嵌入到hive中的derby数据 配置 先把下载好的tar.gz包解压 解压我们需要配置一个用户的环境变量 3.然后在配置一个配置文件 cd /root/training/apache-hive...
Hive启动报错Caused by MetaException message Version information not found in metastore
热门推荐
NeverGiveup54的专栏
01-30 1万+
1问题错误： Caused by: MetaException(message:Versioninformation not found in metastore. ) 或 Caused by: javax.jdo.JDODataStoreException:Required table missing : "`VERSION`" in Catalog "" Schema"". DataNu
hive相关元数据迁移（mysql）
空中的鱼
07-13 1642
mysqldump -hhost -uroot -ppasswd sentry > /tmp/sentry.sql create database sentry DEFAULT CHARACTER SET utf8; grant all on sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry'; flush PRIVILEGES;
hadoop报错server is not wrapping data
06-10
这个错误通常是由于 Hadoop 配置有误导致的，具体原因可能是以下几种情况之一： ...如果以上方法都没有解决问题，你可以查看 Hadoop 的日志文件，找出更详细的错误信息，然后根据错误信息进行进一步排查和解决。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值