半天搭建大数据伪分布式环境

============= 模拟处理大数据 ============

1.数据写入kafka
2.程序消费kafka消息存入hbase
3.hive关联hbase处理数据转存成表
4.sqoop脚本导出数据到mysql

linux:centos7
root/root
一台服务器就够了，3G+20G

配置静态IP地址

#vi /etc/sysconfig/network-scripts/ifcfg-ens32(最后一个为网卡名称)
（1）bootproto=static #dhcp动态
（2）onboot=yes
（3）在最后加上几行，IP地址、子网掩码、网关、dns服务器
IPADDR=192.168.21.100
NETMASK=255.255.255.0
GATEWAY=192.168.21.2
DNS1=8.8.8.8
DNS2=114.114.114.114

重启网络服务

#systemctl restart network

测试网络

#ping www.baidu.com

安装文件编辑和传输工具

#yum install vim
#yum install lrzsz

配置环境变量

#vim ~/.bash_profile
全局：/etc/profile
export JAVA_HOME=/opt/jdk8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

#source ~/.bash_profile 命令，使配置生效。

配置域名映射

#vim /etc/hosts
192.168.229.100 master

==== Linux配置完成 ====
====下一章安装Hadoop ====