![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
长安有故里y
万事胜意呀
展开
-
hive1.2.1安装
hive的安装1.上传文件2.配置文件信息和启动3.hive常见属性的配置1.上传文件1.1上传文件到/opt/software上,并解压到/opt/module下。tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/1.2修改名称 apache-hive-1.2.1-bin为hive(也可以不修改)。mv apache-hive-1.2.1-bin hive1.3/hive/conf 目录下的 hive-env.sh.templat原创 2020-10-18 13:14:56 · 400 阅读 · 0 评论 -
hadoop集群的配置3台基于centos7
hadoop集群的配置3台1.网络的配置2.安装jdk3.安装hadoop1.网络的配置安装的是centos7。三台主机的ip和主机名分别为:主机名称IPhadoop101192.168.2.131hadoop102192.168.2.132hadoop101192.168.2.1332.安装jdk2.1 检查是否自带了jdk。rpm -qa|grep java当显示有java的时候,用rpm命令进行卸载。rpm -e --nodeps + 包名原创 2020-10-15 13:58:16 · 235 阅读 · 0 评论 -
hadoop集群配置文件
hadoop集群的配置信息1.集群进程详情2.集群配置2.1配置core-site.xmlvi core-site.xml2.2在该文件下添加如下的配置信息:<!-- 指定HDFS中NameNode的地址 --><property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:9000</value></property><!原创 2020-10-15 14:47:13 · 523 阅读 · 0 评论 -
集群进程脚本
查看集群进程脚本#!/bin/bashfor i in hadoop101 hadoop102 hadoop103doecho “===================== $i ========================”ssh $i /opt/module/jdk1.8.0_144/bin/jpsdone原创 2021-03-16 20:31:05 · 83 阅读 · 0 评论 -
ssh免密登录与集群群起
集群间的通讯1.ssh配置2.集群的群起(都是在hadoop目录下)1.ssh配置1.1生成公钥和私钥(在root账户下)我们三台虚拟机都是有hadoop用户,为了避免以后出错,在root用户下进行配置。#切换到rootsu rootssh-keygen -t rsa连续按三下回车即可。进入:cd ~/.ssh#查看ll1.2将公钥拷贝到要免密登录的目标机器上ssh-copy-id hadoop101ssh-copy-id hadoop102ssh-copy-id hado原创 2020-10-15 15:16:51 · 142 阅读 · 0 评论 -
centos7分发脚本
centos7的分发文件脚本1.脚本代码2.脚本配置1.脚本代码#!/bin/bash#1 获取输入参数个数,如果没有参数,直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd`echo pdir=$pdir#4 获取当前用户名原创 2021-03-16 20:00:46 · 265 阅读 · 0 评论 -
zookeeper脚本启动
zookeeper集群群起的脚本内容zookeeper集群群起的脚本1. 脚本代码2.文件配置的位置3.不能启动(启动没有反应)1. 脚本代码#!/bin/bashcase $1 in"start"){ for i in hadoop101 hadoop102 hadoop103 do ssh $i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh start" done};;"stop"){ for原创 2021-03-16 17:48:00 · 143 阅读 · 0 评论 -
zookeeper的centos7集群的配置
zookeeper集群的额配置1.前期的准备2.文件配置3.启动4.本地模式1.前期的准备下载好的zookeeper上传到centos,解压tar -zxvf zookeeper包2.文件配置将解压的文件的同步到hadoop102,hadoop103xsync zookeeper/在zookeeper目录下创建zkData目录mkdir zkData并在zkData目录下创建一个文件myidvi myid文件中添加对应的编号hadoop101为1hadoop102为2ha原创 2021-03-16 19:55:51 · 94 阅读 · 0 评论 -
zookeeper总结,模式
zookeeper的总结1.zookeeper的选举机制半数机制:集群中半数以上机器存活,集群可用Zookeeper虽然在配置文件中并没有指定Master和Slave。但是,Zookeeper工作时,是有一个节点为Leader,其他则为Follower,Leader是通过内部的选举机制临时产生的。2.ZooKeeper的监听原理是什么?ZooKeeper的部署方式有哪几种?集群中的角色有哪些?集群最少需要几台机器?1)部署方式单机模式、集群模式(2)角色:Leader和Foll原创 2021-03-16 20:08:51 · 144 阅读 · 0 评论 -
kafka的shell脚本启动
kafka脚本启动1.脚本代码2. 脚本配置3.脚本的启动1.脚本代码#!/bin/bashcase $1 in"start"){ for i in hadoop101 hadoop102 hadoop103 do echo "==========$i==============" ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/原创 2021-03-16 17:54:08 · 438 阅读 · 0 评论 -
kafka集群配置
kafka的集群配置centos71.准备2.文件配置3.启动1.准备http://kafka.apache.org/downloads官网下载地址将文件上传到虚拟机上,解压tar -zxvf 下载的压缩包 -C 解压到文件路径2.文件配置2.1解压后更改文件夹名称(可不改)mv kafka_2.11-0.11.0.0/ kafka在kafka目录下新建一个文件夹mkdir logs2.2修改配置文件cd config/vi server.properties原创 2021-03-16 18:13:20 · 165 阅读 · 0 评论