hadoop集群
文章平均质量分 64
Troyong
这个作者很懒,什么都没留下…
展开
-
CM部署CDH安装组件到Hive时报错: Cause:Table 'scm.VERSION' doesn't exist.
Cloudera Manager部署CDH到首次运行页面,安装运行Hive时,报错:HiveMetaException: Failed to get schema version, Cause:Table ‘metastore.VERSION’ doesn’t exist。报错背景:CM和CDH版本为5.15.2①初始化CM数据库时执行的命令是:./scm_prepare_database.sh mysql scm scm即数据库类型是MySQL,scm数据库,scm数据库用户;②在“首次运行”原创 2020-05-12 22:20:08 · 3729 阅读 · 2 评论 -
使用0.9版Kafka的KafkaConsumer Java API来消费不到数据
在IDEA中使用kafka(版本0.9.0.1)的Java API向kafka生产和消费数据。在使用Java API之前,使用kafka的console脚本可以向控制台生产和消费数据,使用Java API的KafkaProducer也可以生产数据并能在控制台消费,但使用KafkaConsumer却消费不到数据。生产者:public class KafkaPrdMsg { public...原创 2019-10-23 21:36:50 · 1051 阅读 · 0 评论 -
Hadoop集群启动HDFS后namenode都挂了>_<
今天,如往常一样的步骤启动HDFS:先开启zookeeper:zkServer.sh start再开启hdfs和yarn:start-all.sh (包括 start-dfs.sh 和 start-yarn.sh )但是jps前后查看进程后发现后面少了namenode:查看日志hadoop/logs发现报如下异常:Retrying connect to server: node03/1...原创 2019-10-16 17:08:32 · 782 阅读 · 0 评论 -
HDFS读写本地文件/目录的Java demo
文章目录read from hdfswrite to hdfsupload to hdfsdownload from hdfsuploadDirectory to hdfsdownloadDirectory from hdfsread from hdfs@description: 从hdfs的文件读取数据到本地d盘的文本文件中,使用IOUtils.copyBytes(),这个方法比较通用:...原创 2019-10-16 15:12:48 · 672 阅读 · 0 评论 -
Hadoop HA在停掉active namenode后无法自动切换到standby namenode
问题:停掉active namenode后无法自动切换到standby namenode,但是手动重启停掉的active namenode后,standby namenode就变成active了。如题,设置了两个NameNode,启动时一个active,一个standby。当在active namenode上运行如下命令停掉active namenode:hadoop-daemon.sh s...原创 2019-10-06 15:48:24 · 1686 阅读 · 3 评论