大数据实验室（大数据基础培训）——环境准备

最新推荐文章于 2023-08-24 13:39:46 发布

weixin_33725722

最新推荐文章于 2023-08-24 13:39:46 发布

阅读量258

点赞数

文章标签：大数据 scala java

原文链接：https://my.oschina.net/gudaoxuri/blog/670648

版权

2019独角兽企业重金招聘Python工程师标准>>>

为某企业做的培训，完整文档见：http://gudaoxuri.github.io/bd-lab/

2. 环境准备

硬件要求：内存：>=4G，硬盘：>=20G，网络畅通
系统要求：Centos6.x，开启SSH，推荐使用Docker，也可使用实体机或虚拟机（Vmware、Virtualbox或Hyper-V）
基本环境：安装完成 JDK8、Scala2.10.x，MySQL、Mongo

2.1. 使用Docker创建环境（推荐/可选）

如您使用的是实体机或虚拟机请忽略此操作。

下载Docker

Linux直接使用包管理工具安装（Centos6及以下版本安装比较麻烦）， Windows或Mac使用Docker toolbox安装（已在资源列表中）详细参见： https://docs.docker.com/

添加镜像

从官方仓库安装：

# 下载scala基础镜像
docker pull gudaoxuri/scala_2.10
# 下载mysql镜像
docker pull mysql
# 下载Mongo镜像
docker pull mongo

如网络过慢可使用资源列表中已下载的镜像安装：

# 从本地添加scala基础镜像
docker load -i <your path>/images/scala_2.10_image.tar
# 从本地添加mysql镜像
docker load -i <your path>/images/mysql_image.tar
# 从本地添加mongo镜像
docker load -i <your path>/images/mongo_image.tar

创建容器

# 创建mysql容器，开放3306端口，用户名root，密码123456
docker run --name mysql -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306 -d mysql
# 创建mongo容器，开放27017端口，无需认证
docker run --name mongo -p 27017:27017 -d mongo
# 创建scala基础容器，开放大数据服务需要的几个重要端口
docker run --name bd-lab -h bd -d \
     -p 2181:2181 \
     -p 6066:6066 \
     -p 7077:7077 \
     -p 8088:8088 \
     -p 8041:8041 \
     -p 19888:19888 \
     -p 60010:60010 \
     -p 60030:60030 \
     -p 4040:4040 \
     -p 8080:8080 \
     -p 8081:8081 \
     -p 9000:9000 \
     -p 7203:7203 \
     -p 9092:9092 \
     -p 50010:50010 \
     -p 50070:50070 \
     -p 50075:50075 \
     -p 10000:10000 \
     -p 28081:28081 \
     -p 222:22 \
     -v /c/Users/i/docker_data/bd-lab:/opt/res \
     gudaoxuri/scala_2.10

容器说明

gudaoxuri/scala_2.10镜像开放了SSH服务，用户名root，密码123456，端口号222
-v表示添加数据映射，此处用于获取宿主机是已下载的框架包。对于Windows和Mac宿主机的路径有一定要求，详见 https://docs.docker.com/engine/userguide/containers/dockervolumes/#mount-a-host-directory-as-a-data-volume

后续环境使用docker容器，如无特殊说明所使用容器均基于gudaoxuri/scala_2.10镜像。

Docker使用简明教程

http://gudaoxuri.github.io/Docker_ABC/

2.2. 使用Virtual box创建环境（可选）

下载CentOS6.x

http://mirrors.163.com/centos/6.7/isos/x86_64/CentOS-6.7-x86_64-minimal.iso

安装CentOS到Virtual box

注意事项

网络使用网桥模式
选择中文（避免乱码）
主机名使用bd
IP及DNS安装完成后再配置

安装完成，配置网络

vi /etc/sysconfig/network-scripts/ifcfg-eth0

ONBOOT=yes
BOOTPROTO=static
IPADDR=<ip>
NETMASK=<mask>
GATEWAY=<getway>

ifup eth0

vi /etc/resolv.conf

nameserver 180.76.76.76
nameserver 8.8.8.8

测试

ifconfig
ping www.baidu.com

安装必须的工具

# 测试环境，可以关闭防火墙
chkconfig iptables off
service iptables stop

yum install -y wget

# 安装java
wget -P /opt/env/ --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie"  http://download.oracle.com/otn-pub/java/jdk/8u60-b27/jdk-8u60-linux-x64.tar.gz
tar -xzf /opt/env/jdk-8u60-linux-x64.tar.gz -C /opt/env/
rm -rf /opt/env/jdk-8u60-linux-x64.tar.gz
mv /opt/env/jdk1.8.0_60 /opt/env/java
echo "export JAVA_HOME=/opt/env/java" >> /etc/profile

# 安装Scala
wget -P /opt/env/ http://downloads.typesafe.com/scala/2.10.6/scala-2.10.6.tgz
tar -xzf /opt/env/scala-2.10.6.tgz -C /opt/env/
rm -rf /opt/env/scala-2.10.6.tgz
mv /opt/env/scala-2.10.6 /opt/env/scala
echo "export SCALA_HOME=/opt/env/scala" >> /etc/profile

echo 'export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin' >> /etc/profile
source /etc/profile

# 安装MySQL
yum install -y mysql-server mysql mysql-devel
service mysqld start
# mysqladmin -u root password 123456
mysql -u root -p
grant all on *.* to'root'@'%' identified by '123456';
flush privileges;

# 安装Mongo
vi /etc/yum.repos.d/mongodb-org-3.2.repo
  [mongodb-org-3.2]
  name=MongoDB Repository
  baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/
  gpgcheck=1
  enabled=1
  gpgkey=https://www.mongodb.org/static/pgp/server-3.2.asc

yum install -y mongodb-org

vi /etc/mongod.conf
  bind_ip = 0.0.0.0

service mongod start

文件夹共享

vi /etc/selinux/config
   SELLINUX=disabled

yum install -y samba
vi /etc/samba/smb.conf
    # 开启匿名访问
    security = share
    # 修改访问目录
    [public]
    comment = Public Stuff
    path = /share
    availabe = yes
    browseable = yes
    public = yes
    writable = yes
    printable = no
    write list = +staff

mkdir /share
chmod 777 /share
/etc/init.d/smb start

2.3. 基本环境创建

SSH到实验环境

# 创建用户user,密码123456
adduser user
passwd user
mkdir -p /opt/workspaces/
chown user: /opt/workspaces/

# 进入user账号
su - user

# 切换到工作空间
cd /opt/workspaces
# 创建各框架lib目录
mkdir frameworks
# 创建各框架数据目录
mkdir data
# 创建各框架日志目录
mkdir logs
# 创建应用包目录
mkdir apps

# 创建SSH免密钥登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

如无特殊说明后续操作都使用user账号

转载于:https://my.oschina.net/gudaoxuri/blog/670648