大数据环境
文章平均质量分 87
大数据环境
LNP一号
每天叫醒自己的,不止阳光,还有梦想。
展开
-
大数据基础环境之同步基础环境(3台虚拟机)
大数据基础环境的同步配置实验步骤1.修改主机名 本次集群搭建共有三个节点,包括一个主节点master,和两个从节点slave1和slave2。1.以主机点master为例,首次切换到root用户:su2.分别修改三台主机名为master,slave1,slave2:hostnamectl set-hostname master hostnamectl set-hostname ...原创 2018-10-18 22:15:28 · 1823 阅读 · 0 评论 -
大数据基础环境之zookeeper(3台虚拟机)
因为之后的大数据环境都要依赖jdk我的软件包都放在了 /opt/soft下:安装JDK1.首先在根目录下建立工作路径/usr/javamkdir -p /usr/java tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C /usr/java/2.修改环境变量 修改环境变量:vi /etc/profile 添加...原创 2018-10-19 22:10:43 · 608 阅读 · 0 评论 -
大数据基础环境之hadoop(3台虚拟机)
hadoop集群搭建实验步骤安装hadoop使用Xshell连接虚拟机: 修改 /etc/hosts 文件(三台机器都需要操作),操作过程如下图所示: 注意:图中的ip地址为操作是使用的机器的ip地址,需要将hosts文件中的ip地址更换为我们将第一步所得到的ip地址!!!6.当所有机器上的hosts文件配置完成之后,我们可以在master节点上输入 ssh sl...原创 2018-10-20 21:17:44 · 1232 阅读 · 0 评论 -
大数据基础环境之hbase(3台虚拟机)
hbase安装 注意开启hbase之前,需要将之前的hadoop集群开启start-all.sh (启动hadoop) zkServer.sh start(各个节点均执行)1.同样先建立工作路径/usr/hbase,将/opt/soft下的hbase加压到工作路径中。创建路径:mkdir -p /usr/hbase 解压缩:tar -zxvf /opt/soft/hbase-1...原创 2018-10-28 20:36:29 · 1347 阅读 · 0 评论 -
大数据基础环境之kafka(3台虚拟机)
Kafka集群:首先,下载解压压缩包 kafka_2.11-2.0.0.tgz到 /usr/kafka/配置/usr/kafka/kafka_2.11-2.0.0/config/server.properties文件:打开监听端口(打开这一行注释): 修改zookeeper.connect: 配置 broker 的ID: 修改 log 的目录:...原创 2018-10-31 21:16:44 · 623 阅读 · 1 评论 -
大数据基础环境之spark(3台虚拟机)
本博主之前的博客包含了详细的所有前置环境,出门左转谢谢。Spark集群的搭建:到官网上下载相应的压缩包如果网速不好,推荐到清华的镜像去下载:http://archive.apache.org/dist/ 进去找到你所需要的版本进行下载,速度会提升很多! 将压缩包上传到虚拟机上,进行解压到相应的文件夹,然后配置环境变量: 最好将bin和sbi...原创 2018-10-31 21:23:59 · 2193 阅读 · 0 评论