数据仓库C

存储格式

文本导入到hive中,必须是TextFile格式.

RCFile

存储空间TextFIle-RCFile-SequnceFile
MapReduce 过程

HIVE架构分析

1. 

HADOOP搭建过程
①HDFS分布式文件框架
把文件切成块,分机器存储,同时每一块都被拷贝成3份.
Namenode–负责文件的路径映射到机器上的数据
Datanodes–负责具体的读和写
②MapReduce分布式计算框架
Map负责搜集数据,Reduce负责计算数据

搭建Hadoop环境
①安装VmWare 下一步执行即可
②安装CentOs

网关设置vm8 nat 地址配置 192.168.2.1
ip 地址,虚拟机和物理机都配置成192.168.2.* 子网掩码 255.25.255.0
启动虚拟机,别忘记bios打开intel cpu虚拟化技术
centos问你如何启动,是moved还是copied,选择copied
③图形界面操作
配置ip地址 终端输入 ifconfig 查看ip
右上角连接处,固定机器的ip地址, edit connection
双击 System eth0 打开Ipv4 settings
选择Mannual ip配置 192.168.2.100 子网掩码 255.255.255.0 网关 192.168.2.1
DNS 8.8.8.8
配置好了之后,ping一下网关
也可以用setup命令进入伪图形界面
配置完了centos之后,用init 3关掉虚拟机的图形界面
在windows上面用SecureCRT打开远程连接
④ SecureCRT配置
打开SecureCRT 连接,输入centos的ipv4地址,然后开始连接,数据电脑的密码即可登录
centos的权限管理,hadoop作为普通用户,无法更改系统文件,需要授予管理员权限,
输入su 进入root用户,输入密码.
vi /etc/sudoers 打开之后,
root ALL=(ALL) ALL
下面添加一句
hadoop ALL=(ALL) ALL
关于linux的vim操作,见 https://jingyan.baidu.com/article/495ba8410ff14d38b30ede01.html
vi /etc/sudoers
编辑好之后
esc : wq!
vim 下输入i进入编辑模式
sudo vi/etc/inittab 把启动模式改成3 --取消图形可视化界面
sudo service network restart–重启网络服务
sudo vi/etc/sysconfig/network --修改主机名
sudo hostname baokaige–修改主机名
exit–推出当前用户
修改主机名的绑定ip地址
sudo vi/etc/hosts
修改hosts文件,增加 192.168.91.100 baokaige
Ctrl+c 终止命令行
安装jdk
使用secureFX上传jdk到linux服务器
tar -zxvf jdk -c /app/jdk --解压
sudo vi /etc/profile
配置环境变量
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin