大数据——Ubuntu docker安装、容器准备、环境准备以及软件安装

最新推荐文章于 2024-05-04 05:18:11 发布
最新推荐文章于 2024-05-04 05:18:11 发布
阅读量653 收藏 2
点赞数
文章标签： docker centos hadoop ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dsjia2970727/article/details/114137665
版权

Ubuntu docker安装、容器准备、环境准备以及软件安装

docker安装

SSH安装

  • 更新源
dsj@dsj:~$ sudo apt-get update

如果这一步发现更新很慢，可以这样设置

  • 点击系统设置，选择软件和更新，下载自选择其他站点
    在这里插入图片描述
  • 点击选择最佳服务器
    在这里插入图片描述
  • 等待找到最佳的服务器，选择服务器

在这里插入图片描述

  • 点击关闭，选择重新载入
    在这里插入图片描述

  • 完成后再次更新源

  • 下载ssh服务

dsj@dsj:~$ sudo apt-get install -y openssh-server
  • 启动ssh服务
dsj@dsj:~$ systemctl start sshd
  • 查看本机的ip地址
dsj@dsj:~$ ip addr

在这里插入图片描述

  • 可以使用MobaXterm连接

  • 安装curl

dsj@dsj:~$ sudo apt install curl
  • 安装docker
dsj@dsj:~$ curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
  • 查看docker版本
dsj@dsj:~$ docker -v

在这里插入图片描述

容器准备

  • 拉取镜像
dsj@dsj:~$ sudo docker pull centos:7
  • 启动并创建容
dsj@dsj:~$ sudo docker run -itd --privileged --name singleNode -h singleNode \
> -p 2222:22 \
> -p 3306:3306 \
> -p 50070:50070 \
> -p 8088:8088 \
> -p 8080:8080 \
> -p 10000:10000 \
> -p 60010:60010 \
> -p 9092:9092 \
> centos:7 /usr/sbin/init
  • 查看镜像
dsj@dsj:~$ sudo docker ps

在这里插入图片描述

  • 进入容器
dsj@dsj:~$ sudo docker exec -it singleNode /bin/bash

在这里插入图片描述

环境准备

安装必要软件

[root@singleNode /]# yum clean all

[root@singleNode /]# yum -y install unzip bzip2-devel vim bashname

配置SSH免密登录

  • 安装必要的SSH服务
[root@singleNode /]# yum install -y openssh openssh-server openssh-clients openssl openssl-devel
  • 生成密钥
[root@singleNode /]# ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''
  • 配置免密
[root@singleNode /]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  • 启动SSH服务
[root@singleNode /]# systemctl start sshd

设置时区

[root@singleNode /]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

关闭防火墙

[root@singleNode /]# systemctl stop firewalld
[root@singleNode /]# systemctl disable firewalld

安装MySQL

  • 创建文件夹
[root@singleNode /]# mkdir /opt/software
[root@singleNode /]# mkdir /opt/install
  • 解压安装包
[root@singleNode software]# tar xvf MySQL-5.5.40-1.linux2.6.x86_64.rpm-bundle.tar
  • 安装必要依赖包
[root@singleNode software]# yum -y install libaio perl
  • 安装服务端
[root@singleNode software]# rpm -ivh MySQL-server-5.5.40-1.linux2.6.x86_64.rpm
  • 安装客户端
[root@singleNode software]# rpm -ivh MySQL-client-5.5.40-1.linux2.6.x86_64.rpm
  • 启动MySQL
[root@singleNode software]# systemctl start mysql
  • 配置MySQL
[root@singleNode software]# /usr/bin/mysqladmin -u root password 'root'
  • 进入MySQL
[root@singleNode software]# mysql -uroot -proot
  • 设置远程登录
mysql> update mysql.user set host='%' where host='localhost';

mysql> delete from mysql.user where host<>'%' or user='';
  • 刷新权限并退出
mysql> flush privileges;
mysql> quit

安装JDK

  • 解压jdk
[root@singleNode software]# tar zxvf jdk-8u171-linux-x64.tar.gz -C /opt/install/
  • 改名
[root@singleNode install]# mv jdk1.8.0_171 java8
  • 配置环境变量
[root@singleNode install]# vi /etc/profile
  • 输入如下内容
export JAVA_HOME=/opt/install/java8
export PATH=$JAVA_HOME/bin:$PATH
  • 保存退出，使其生效
[root@singleNode install]# source /etc/profil
  • 查看版本
[root@singleNode install]# java -version

在这里插入图片描述

Hadoop安装

  • 解压hadoop
[root@singleNode install]# tar zxvf /opt/software/hadoop-2.6.0-cdh5.14.2.tar_2.gz -C /opt/install/
  • 改名
[root@singleNode install]# mv hadoop-2.6.0-cdh5.14.2 hadoop
  • 配置core-site.xml
[root@singleNode hadoop]# vi core-site.xml
  • 输入如下信息
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://singleNode:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/install/hadoop/data/tmp</value>
  </property>
</configuration>
  • 配置hdfs-site.xml
[root@singleNode hadoop]# vi hdfs-site.xml
  • 输入如下信息
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
  • 改名
[root@singleNode hadoop]# mv mapred-site.xml.template mapred-site.xml
  • 配置mapred-site.xml
[root@singleNode hadoop]# vi mapred-site.xml
  • 输入如下信息
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>singleNode:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>singleNode:19888</value>
  </property>
</configuration>
  • 配置yarn-site.xml
[root@singleNode hadoop]# vi yarn-site.xml
  • 输入如下信息
<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>singleNode</value>
	</property>
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>
  • 配置hadoop-env.sh
[root@singleNode hadoop]# vi hadoop-env.sh
  • 输入如下信息
export JAVA_HOME=/opt/install/java8
  • 配置yarn-env.sh
[root@singleNode hadoop]# vi yarn-env.sh
  • 输入如下信息
export JAVA_HOME=/opt/install/java8
  • 配置slaves
[root@singleNode hadoop]# vi slaves
  • 输入如下信息
singleNode
  • 修改环境变量
[root@singleNode hadoop]# vi /etc/profile
  • 输入如下信息
export HADOOP_HOME=/opt/install/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
  • 保存退出，使其生效
[root@singleNode hadoop]# source /etc/profile
  • 查看版本信息
[root@singleNode hadoop]# hadoop version

在这里插入图片描述

  • HDFS格式化
[root@singleNode hadoop]# hdfs namenode -format
  • 启动Hadoop服务
[root@singleNode hadoop]# start-all.sh
  • web端查看50070端口
    在这里插入图片描述

Hive安装

  • 解压
[root@singleNode install]# tar zxvf /opt/software/hive-1.1.0-cdh5.14.2.tar.gz -C /opt/install/
  • 改名
[root@singleNode install]# mv hive-1.1.0-cdh5.14.2 hive
  • 修改hive-site.xml配置
[root@singleNode install]# cd hive/conf/
[root@singleNode conf]# vi hive-site.xml
  • 输入如下信息
<configuration>
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/home/hadoop/hive/warehouse</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://singleNode:3306/hive?createDatabaseIfNotExist=true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>root</value>
	</property>
	<property>
		<name>hive.exec.scratchdir</name>
		<value>/home/hadoop/hive/data/hive-${user.name}</value>
		<description>Scratch space for Hive jobs</description>
	</property>

	<property>
		<name>hive.exec.local.scratchdir</name>
		<value>/home/hadoop/hive/data/${user.name}</value>
		<description>Local scratch space for Hive jobs</description>
	</property>
</configuration>
  • 保存退出，修改hive-env.sh配置
[root@singleNode conf]# mv hive-env.sh.template hive-env.sh
[root@singleNode conf]# vi hive-env.sh
  • 输入如下信息
HADOOP_HOME=/opt/install/hadoop
  • 添加依赖包
[root@singleNode conf]# cp /opt/software/mysql-connector-java-5.1.31.jar /opt/install/hive/lib/
  • 添加环境变量
[root@singleNode conf]# vi /etc/profile
  • 输入如下信息
export HIVE_HOME=/opt/install/hive
export PATH=$HIVE_HOME/bin:$PATH
  • 保存退出，使其生效
[root@singleNode conf]# source /etc/profile
  • 启动服务
[root@singleNode conf]# start-all.sh
[root@singleNode conf]# nohup hive --service metastore &
[root@singleNode conf]# nohup hive --service hiveserver2 &

Sqoop安装

  • 解压
[root@singleNode conf]# tar zxvf /opt/software/sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/install/
  • 改名
[root@singleNode install]# mv sqoop-1.4.6-cdh5.14.2 sqoop
  • 修改sqoop-env.sh配置
[root@singleNode install]# cd sqoop/conf/
[root@singleNode conf]# mv sqoop-env-template.sh sqoop-env.sh
[root@singleNode conf]# vi sqoop-env.sh
  • 输入如下信息
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/install/hadoop

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/install/hadoop

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/install/hive
  • 添加依赖包
[root@singleNode conf]# cp /opt/software/mysql-connector-java-5.1.31.jar /opt/install/sqoop/lib/
[root@singleNode conf]# cp /opt/software/java-json.jar /opt/install/sqoop/lib/
  • 添加环境变量
[root@singleNode conf]# vi /etc/profile
  • 输入如下信息
export SQOOP_HOME=/opt/install/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
  • 保存退出，使其生效
[root@singleNode conf]# source /etc/profile
  • 查看版本信息
[root@singleNode conf]# sqoop version

在这里插入图片描述

注意：如果下次再进入的时候，环境变量没有生效的话，可以把环境变量配置在.bashrc中

[root@singleNode ~]# vi .bashrc
蜂蜜柚子加苦茶
关注
模块A：大数据平台搭建（容器环境）
howard2005的专栏
03-18 2428
在ubuntu上安装docker、搭建分布式hadoop、搭建Spark on Yarn集群，搭建Flink on Yarn集群
如何将Docker镜像源更改为阿里云的镜像加速地址
最新发布
sg_knight的专栏
07-10 6460
通过获取并配置阿里云的Docker镜像加速地址，你可以有效地提高在国内环境下使用Docker时的效率。阿里云镜像源提供了稳定且高效的服务，非常适合在国内环境下使用。新时代农民工t=N7T8阿里云-计算，为了无法计算的价值阿里云——阿里巴巴集团旗下公司，是全球领先的云计算及人工智能科技公司之一。提供免费试用、云服务器、云数据库、云安全、云企业应用等云计算服务，以及大数据、人工智能服务、精准定制基于场景的行业解决方案。免费备案，7x24小时售后支持，助企业无忧上云。
ubuntu 上搭建docker，以及大数据环境
miaoao611的博客
11-21 1279
1.安装： 安装组件： sudo apt install curl 下载: curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun docker -v 2.创建docker容器 拉取镜像： sudo docker pull centos:7 启动并创建容器： sudo docker run -itd --privileged --name singleNode -h singleNode \ -p 2222:22 \ -p
Docker安装（Ubuntu中）
一只鱼的博客
07-19 219
更新ubuntu的apt源索引 sudo apt-get update 安装包允许apt通过HTTPS使用仓库 sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ software-properties-common 添加Docker官方GPG key cur...
docker ubuntu 安装软件
Hunter_H1的博客
07-06 396
在使用ubuntu镜像叠加软件时，直接运行apt-get会报Failed to fetch的报错． 查询是软件源的问题，追加换源命令解决． DockerFile片段如下： FROM ubuntu:18.04 RUN sed -i s:/archive.ubuntu.com:/mirrors.tuna.tsinghua.edu.cn/ubuntu:g /etc/apt/sources.list\ && apt-get update \ && apt-
Ubuntu16.04使用docker搭建大数据环境
someby的博客
09-12 514
参考官方官方文档 一、卸载旧版本的docker 较旧版本的Docker被称为docker或docker-engine。如果已安装，请卸载它们： $ sudo apt-get remove docker docker-engine docker.io 二、安装Docker CE 使用存储库安装 在新主机上首次安装Docker CE之前，需要设置Docker存...
【liunx——docker容器技术】
weixin_68843574的博客
04-27 250
初学docker容器技术前言一、认识docker(并配置好Docker的基本运行环境)二、使用步骤设置docker仓库安装Docker CE：启动 Docker 并进行测试总结 前言 容器是继大数据和云计算之后的又一热门技术，越来越多的应用以容器的方式在开发、测试和生产环境中运行。作为目前较为流行的容器平台，Docker 是开发、发布和运行应用的开放平台。利用 Docker 的快速发布、测试和部署的整套方法，可以大大减少开发中的代码编写与运行之间的时间延迟，提高软件开发的效率和质量，实现产品的快速交付和快
生死簿后台管理系统（一）——使用Docker构建开发环境
BetrayArmy的博客
06-07 6588
最近有个段子非常火，说有个程序员梦见自己被阎王召见，让他帮忙开发一个后台管理系统。在一笑而过之后，我觉得如果要是能把这个系统做出来，应该颇具娱乐性，也顺便了解一下高并发以及大数据的相关技术——每天要上生死簿的人估计不会少。于是，本着娱乐大众的目的，我抓来了一个mysql的DBA@BigCat_X还有一个前端@MC，开始构建这个系统。 我们初步决定的技术路线为：数据库使用mysql，web服务器使...
大数据最全【Docker开篇第二篇】Docker 掌握核心技术_docker --ipc host(2)
2301_77033583的博客
05-04 704
docker run命令可以与docker commit命令结合使用，以改变容器运行的命令。docker run命令首先在指定映像上creates可写的容器层，然后使用指定的命令starts它。也就是说，docker run等价于API然后。使用docker start，可以重新启动已停止的容器，并保存之前的更改。
47.大数据之旅——java分布式项目08--Docker（tomcat，Nginx，redis镜像部署）
零零天
01-23 637
Docker 介绍 Docker是dotCloud公司开源的一款产品。dotCloud公司是2010年新成立的一家公司，主要基于PaaS（Platform as a Service，平台即服务）平台为开发者提供服务。在PaaS平台下，所有的服务环境已经预先配置好了，开发者只需要选择服务类型、上传代码就可对外服务，不需要花费大量的时间搭建服务和配置环境。dotCloud的PaaS平台已经做得足够好...
Ubuntu16.04 安装Docker CE教程
01-09
准备阶段 你需要64位的ubuntu操作系统 Cosmic 18.10、Bionic 18.04 (LTS)、Xenial 16.04 (LTS)其中之一。 docker支持的架构为：x86_64 (or amd64), armhf, arm64, s390x (IBM Z), and ppc64le (IBM Power)。 1.查看ubuntu系统是32位的还是64位的： getconf LONG_BIT 2.查看系统信息： lsb_release -a 3.查看操作系统架构： uname -a 4.卸载旧版本 sudo apt-get remove docker docker
Ubuntu 一些大数据挖掘与机器学习工具安装
qq_34531825的博客
06-26 1025
UMlet UMLet是开源的UML建模工具。ubuntu下安装：sudo apt-get install umlet打开界面umlet
Ubuntu Docker 安装
mianhuantang848989的专栏
07-22 215
DockerEngine-Community支持上x86_64（或amd64）armhf，arm64，s390x（IBMZ），和ppc64le（IBM的Power）架构。
Docker环境准备-安装Ubuntu
weixin_30640291的博客
12-29 69
***微信扫一扫，关注“python测试开发圈”，了解更多测试教程！*** 转载于:https://www.cnblogs.com/guanfuchang/p/10197627.html
Docker 安装 Ubuntu
weixin_46575696的博客
05-12 196
<h1>Docker 安装 Ubuntu Ubuntu 是基于 Debian 的 Linux 操作系统。 1、查看可用的 Ubuntu 版本 访问 Ubuntu 镜像库地址： https://hub.docker.com/_/ubuntu?tab=tags&page=1。 可以通过 Sort by 查看其他版本的 Ubuntu。默认是最新版本 ubuntu:latest 。 你也可以在下拉列表中找到其他你想要的版本： 2、拉取最新版的 Ubuntu 镜像 $ docker ...
大数据练习环境部署(1) - Ubuntu系统安装
OzupeSir
12-06 460
Ubuntu安装
ubuntu安装docker容器
大鱼的博客
06-12 5383
docker容器现在安装软件非常火爆，也确实非常方便。下面介绍一下Ubuntu如何安装docker容器。 1.安装docker apt-get install -y docker-ce 从仓库中下载docker-ce包，然后调用dpkg安装，显示效果如下： 2.安装docker源 apt-get install docker.io 显示如下： 3.启动docker服务 systemctl...
ubuntu虚拟机+docker+hadoop完全分布式环境搭建
阿松的博客
12-25 1517
环境 win10+ubuntu-20.04虚拟机 初衷 使用vm虚拟机模拟多节点实现hadoop完全分布式搭建实在过于消耗资源，正好学习到docker，就想着尝试使用docker容器来模拟多个节点，同时又可以节省资源，于是上网搜索了一下，果然有案例，索性直接上手。只需要一个虚拟机，安装Linux其中一个发行版即可，推荐ubuntu，维护完善且社区活跃。 步骤 1. 安装Ubuntu虚拟机 这个当然是必备啦，docker目前对于windows还不是很友好，而日常又使用windows系统，于是装个虚拟机就解决咯
Docker国内镜像source
weixin_30758821的博客
04-12 209
现在使用docker的镜像大多基于几种基本Linux系统。虽然我不需要在容器李安装很多东西，但经常需要一些必要的工具，而基础镜像里并不包含，比如vim， ifconfig， curl等。考虑下载速度，最后修改镜像的source为国内地址。现在收集一些docker的基础镜像中国镜像源。 Github: https://github.com/Ryan-Miao/docker-china-source ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值