搭建Hadoop集群
一只奋斗的小强
我想把代码写成诗。
展开
-
HIVE3.1.2搭建教程
前提是已经搭好hadoop搭建hadoop参考博客:https://blog.csdn.net/pucao_cug/article/details/71698903搭建hive参考博客:https://blog.csdn.net/weixin_41485724/article/details/105840716搭建过程中遇到报错问题。参考博客:https://niuxikun.blog.csdn.net/article/details/119787813...原创 2021-08-18 19:58:19 · 369 阅读 · 0 评论 -
搭建HIVE3.1.2遇到报错问题
1、guava.jar版本不一致参考博客:https://www.cnblogs.com/jaysonteng/p/13412763.html2、配置文件有特殊字符参考博客:https://blog.csdn.net/zhangvalue/article/details/843131193、配置文件没有找到相对路径参考博客:https://www.cnblogs.com/shun7man/p/11823828.html4、show da原创 2021-08-18 19:57:54 · 430 阅读 · 0 评论 -
在ambari上搭建yarn报错处理办法
报错:解决办法:sudo chown -R ambari /var/run/ambari-server原因:ambari-server安装有问题!原创 2020-08-24 10:05:51 · 733 阅读 · 0 评论 -
ambari启动、报错处理、安装路径
1.在虚拟机上启动ambari:ambari-server start2.还有一点,ambari默认安装路径:/usr/hdp/3.Ambari出现Consistency Check Failed错误,并且配置NameNode HA时出现500 status code错误。这里是因为权限问题,修改一下权限就行了:chown -R ambari /var/run/ambari-server这里的ambari换成配置ambari-server时的用户名...原创 2020-08-21 15:00:30 · 1301 阅读 · 0 评论 -
idea安装及项目导入过程中pom报错解决办法
1.idea安装可用破解版或者在淘宝上买正版账号(20多块钱一年,挺便宜的)2.pom报错解决办法:在项目导入过程中pom报错:原因:相关jar包未下载完。(下载速度慢,因为下载的链接是国外的节点)解决办法:链接改为国内阿里云下载库。步骤:(1)idea安装之后有两个地方需要看第一:(setting.xml文件)该文件是设置下载jar包路径,在mirrors中添加如下链接(一定在mirrors中,不要加错地方)代码如下:<mirror>.原创 2020-08-16 22:58:04 · 2869 阅读 · 0 评论 -
配置环境变量后记得生效
配置环境变量后记得生效source /etc/profile原创 2020-08-11 17:21:25 · 160 阅读 · 0 评论 -
Hadoop搭建kafka教程
1.kafka与zookeeper版本对照2.解压kafkacd /opt/kafkatar -zxvf kafka_2.12-2.5.0.tgz3.修改server.propertiescd /opt/kafka/kafka_2.12-2.5.0/configbroker.id=1 ###三台的broker.id不可相同,分别为1 、2、3delete.topic.enable=true ###添加,如果我们需要删除topic,还需要配置一下内容listeners=原创 2020-08-11 17:11:06 · 755 阅读 · 0 评论 -
查看虚拟机内网外网ip
内网:ifconfig外网:curl ifconfig.me原创 2020-08-11 16:39:26 · 4120 阅读 · 0 评论 -
在Hadoop上跑的第一个例子
1.启动Hadoopstart-all.sh如下图:主节点:子节点:即可。2.在hdfs中创建input文件夹(目录):hadoop fs -mkdir /input查看创建目录:(可以一级一级的查询)hadoop fs -ls /3.将LICENSE.txt放到input目录下:hadoop fs -copyFromLocal /opt/hadoop/hadoop-3.3.0/LICENSE.txt /inputLICENSE.txt原创 2020-08-11 14:44:50 · 281 阅读 · 0 评论 -
hdfs上传文件报错解决办法
在hdfs上传文件报一下错误:原因:三台虚拟机的防火墙没有关闭。解决办法:systemctl stop firewalld.service原创 2020-08-11 14:03:22 · 1352 阅读 · 0 评论 -
hive安装过程中报错处理办法
1.第一个错:(路径错误)Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D at org.apache.hadoop.fs.Path.initialize(Path.java:254) at原创 2020-08-10 18:04:12 · 503 阅读 · 0 评论 -
Hadoop集群搭建过程中profile初始化问题
profile初始化:source /etc/profile原创 2020-08-10 15:05:35 · 229 阅读 · 0 评论 -
Hadoop搭建yarn教程
1.yarn的配置在搭建Hadoop的过程中已经配好,所以启动即可。详细配置如下:(1)在/opt/hadoop/hadoop-3.3.0/etc/hadoop上配置mapred-site.xml<property> <name>mapreduce.framework.name</name> <value>yarn</value></property>(2)在/opt/hadoop/hadoop-3.3原创 2020-08-10 14:09:03 · 333 阅读 · 0 评论 -
linux关闭防火墙
systemctl stop firewalld.service原创 2020-08-10 10:45:04 · 150 阅读 · 0 评论 -
Hadoop安装spark教程
1.将下载后的安装包上传到文件夹下2.解压:tar -zxvf spark-3.0.0-bin-hadoop3.23.设置环境变量:vim /etc/profile//添加如下内容export SPARK_HOME=/opt/spark/spark-3.0.0-bin-hadoop3.2export PATH=$PATH:$SPARK_HOME/bin使配置生效:source /etc/profile4.修改配置:#进入/spark-3.0.0/con原创 2020-08-10 10:44:23 · 550 阅读 · 0 评论 -
Hadoop安装zookeeper教程
1.解压zookeepertar -zxvf zookeeper-3.4.9.tar.gz2.在/opt/zookeeper/zookeeper-3.4.9目录下新建data,logs两个文件夹。3.进入zookeeper-3.4.9/conf目录,把zoo_sample.cfg文件复制一份名字改成zoo.cfg。4.修改zoo.cfg文件dataDir=/data/zookeeper/zookeeper_cluster/zookeeper-3.4.9/datadataLogDi原创 2020-08-09 23:22:29 · 345 阅读 · 0 评论 -
配置hadoop-3.3.0遇到的坑
1、hdfs的web页面默认端口是9870 yarn的web页面端口是8088http://192.168.134.132:8088/http://192.168.134.132:9870/2./opt/hadoop/hadoop-2.8.0/etc/hadoop/slaves里面的slaves文件变成了workers3.在进行namenode格式化时报错:解决办法:在/opt/hadoop/hadoop-3.3.0/sbin/start-dfs.sh中添加:.原创 2020-08-09 20:47:58 · 1274 阅读 · 0 评论 -
Hadoop安装redis教程
1.下载安装包,地址:http://www.redis.cn/上传到opt上2.在当前文件夹下解压:tar -zxvf redis-3.2.5.tar.gz3.依次执行命令:yum install gccyum install gcc-c++makemake install4.验证:redis-server能看到以下图标:...原创 2020-08-07 11:13:24 · 533 阅读 · 0 评论 -
Hadoop安装mysql教程
一:安装mysql:1.输入:yum install mysql-server 提示没有可用包。解决办法:#yum -y install wget#wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm#rpm -ivh mysql-community-release-el7-5.noarch.rpm#yum install mysql-server2.安装步骤:(1)查看端口号(2)安.原创 2020-08-07 10:43:31 · 2287 阅读 · 1 评论 -
Hadoop基本命令
1.全部启动:sh start-all.sh2.全部关闭:sh stop-all.sh3.查看:jps原创 2020-08-07 10:37:02 · 138 阅读 · 0 评论 -
配置Hadoop环境变量
1.修改etc文件夹下的profile2.在profile文件里面配置export PATH=$PATH:/opt/hadoop/hadoop-2.6.0/sbin:/opt/hadoop/hadoop-2.6.0/bin如图:3.配置好之后,使文件生效:source /etc/profile4.验证:hadoop version返回:成功!...原创 2020-08-07 09:39:13 · 1273 阅读 · 0 评论 -
Linux上安装Hadoop集群(CentOS7+hadoop-2.6.0)成功!
博客推荐:https://blog.csdn.net/pucao_cug/article/details/71698903?utm_source=blogxgwz0原创 2020-08-06 17:16:41 · 174 阅读 · 0 评论 -
-bash: start-all.sh: 未找到命令解决办法(启动Hadoop)如何验证启动成功?
-bash: start-all.sh: 未找到命令解决办法输入:#sh start-all.sh原因:没有配置环境变量运行结果:原创 2020-08-06 17:15:11 · 7520 阅读 · 3 评论 -
搭建虚拟机Centos7 linux一些基本操作
1.输入 ifconfig 提示command not found(原因:没有安装包含该命令的包)解决办法:进入sbin目录cd /sbin安装net-tools包sudo yum install net-tools再次查看输入:ifconfig2.输入vim提示command not found(没有vim包)解决办法:(安装包)yum -y install vim*查看:rpm -qa|grep vim返回:3.如何修改ho...原创 2020-08-06 10:26:21 · 397 阅读 · 1 评论