hadoop
梅月初七
怎么才能变专业呢?????
展开
-
Hadoop启动服务
hadoop@hadoop1~]$zkServer.shstart(各个节点)[hadoop@hadoop1~]$zkServer.shstop(各个节点)也可以使用./stop-all.sh关闭Hadoop。HBase切换到$HBASE_HOME/bin。HBase切换到$HBASE_HOME/bin。之间的启动顺序是启动。停止顺序刚好相反停止。...原创 2022-07-16 08:30:00 · 992 阅读 · 1 评论 -
把 HBase 中的数据集成到 Hive 数据仓库中
hive 集成原创 2022-07-16 01:35:50 · 462 阅读 · 0 评论 -
sqoop报错:ERROR tool.ImportTool: Error during import: Import job failed!
出错了ERRORtool.ImportToolErrorduringimportImportjobfailed!权限问题,可以去修改权限chmod777路径(我的是$HBASE_HOME/bin)(使用Sqoop将生产历史数据初始化同步至HBas)然后在执行一遍就好了。原创 2022-07-14 23:56:04 · 585 阅读 · 1 评论 -
tar解压: Exiting with failure status due to previous errors且找不到文件或者目录
解决思路:在root下解压完成!!!原创 2022-07-14 16:10:00 · 489 阅读 · 0 评论 -
将安装包 ggs_Adapters_Linux_x64.tar 在主机的 GG_HOME 下解压,环境变量GG_HOME没有目录
背景:我在做项目练习的时候,目标端 GoldenGate 安装时需要在主机的 GG_HOME 下解压安装包 第一反应是环境变量没有生效在root下source $GG_HOME 使其生效,然后重启重新登陆一般就能解决在我这里他没有解决 echo $GG_HOME是好的那就是没有目录cd /opt/ggs 那就创个目录 权限问题 问题解决 皆大欢喜下来就可以解压了 $GG_HOME下就有包了解压即可!!!......原创 2022-07-14 15:45:17 · 340 阅读 · 0 评论 -
(已解决)执行hive初始化时一直报错:Failed to get schema version.和 Failed to load driver
这是我出现的错误,最开始是图二,在我的不断尝试下变成图一,在变成图二,而且没有提示出错了在博客上搜索是我的思路之一,网上的解决办法有改权限,有重置密码,这些我的都没有问题,由于不断的试错,越来越没有思路,请教了老师第一步先检查一下hdfs和yarn是否正常(jps查看下,我的确实都没了)第二步 mysql数据库是否正常(这一步我开始是sudo service mysql restart )如果都好着的话,第三步把hive-site.xml的参数检查一下(当时我检查了不下10次,最后连大小写都没有放过)第四原创 2022-07-12 17:51:57 · 2391 阅读 · 0 评论 -
<已解决>namenode格式化失败:java.lang.IllegalArgumentException: URI has an authority component
背景:在做集群测试过程中不断格式化导致最终namenode 启动不了最开始是可以启动,是由于我后面测试输入于是返回去查找问题在格式化的时候出现了问题。多次格式化,就是不能格式化namenode,jps查看不出现namenode,仔细对照配置文件后发现,在core-site.xml,hdfs-site.xml中的配置好像不太一样。在博客上查找n种办法,删除对应文件,改集群ID等等均不能解决我的问题最后经过不断尝试,解决了解决办法: 修改有路径的配置文件 hadoop.t.........原创 2022-07-11 17:50:52 · 2650 阅读 · 2 评论 -
启动hadoop出现ssh: connect to host master port 22: No route to host
首先试着ping主机名,IP 发现不通解决办法 1.重启(还是不行)2关闭防火墙service iptables stopchkconfig iptables off解决问题原创 2022-07-11 22:27:22 · 1688 阅读 · 1 评论 -
Hadoop2.0 集群环境的搭建
#1 Linux 操作系统的设置1.1 设置服务器的 HOSTNAMEvi /etc/sysconfig/network1.2 配置网卡参数vi /etc/sysconfig/network-scripts/ifcfg-eth0还要重启网卡1.3 设置 host 映射文件vi /etc/hosts1.4 关闭防火墙service iptables stopchkconfig iptables off1.5 关闭 SELINUXvi /etc/selinux/config1.6 修改原创 2022-07-11 18:12:32 · 373 阅读 · 2 评论