MySQL&Hive

Hive
Mysql安装
centos自带MySQL插件查询
rpm -aq |grep mysql
删除
sudo rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64
安装
版本5.7（推荐）/源码安装
5.1/yum安装
客户端：sudo yum install -y mysql
服务端：sudo yum install -y mysql-server
启动sudo service mysql start
（关闭sudo service mysqld stop）
设置开机启动sudo chkconfig mysql on
设置root用户密码mysqladmin -u root pasdword'123456'
配置用户的访问权限
添加权限grant all privilegs on *.* to 'root'@'%' identified by '123456' with grant option
删除其它授权
刷新权限flush privileges
重启服务


准备工作
Hadoop相关进程
NameNode
DataNode
ResourceManager
NodeManager
JobHistoryServer
MySQL服务启动


hive介绍
hive.Apache.org
hive是干嘛的
Facebook开源，2008
将sql转换成MapReduce程序，并提交到yarn集群上运行
sql querry，和MySQL数据库sql一样
概念SQL on Hadoop
阵营，不写程序，写sql实现功能
hive框架是类似框架的基础框架
要学好hive
Hadoop
HDFS，MapReduce，yarn
MySQL数据库
DDL，DML
CURD
creat
read
update
delete
版本
0.13.1
2014最经典最稳定
1.2.1
主流
2.X
2017底层推荐使用spark或tez框架分析数据，而不是MapReduce


MapReduce经典程序Wordcount
Hadoop处理过程
SELECT word,count(word) FROM tb_word GROUP BY word
同样的结果：写几行sql语句就搞定了


hive安装
下载 http://archive.apache.org/dist/
上传
权限 sudo chmod u+x apache-hive-1.2.1-bin.tar.gz
解压 sudo tar -zxf apache-hive-1.2.1-bin.tar.gz -C /opt/modules/
重命名 sudo mv apache-hive-1.2.1-bin hive-1.2.1

创建数据仓库
cd /opt/modules/hadoop-2.6.0
sudo bin/hdfs dfs -mkdir -p /tmp
sudo bin/hdfs dfs -mkdir -p /user/hive/warehouse/
sudo chmod g+w /tmp
sudo chmod g+w /user/hive/warehouse
配置文件
cd /opt/modules/hive-1.2.1/conf
  复制并改名sudo cp ./hive-env.sh.template ./hive-evn.sh
编辑hive-evn.sh


# Set HADOOP_HOME to point to a specific hadoop install directory


HADOOP_HOME=/opt/modules/hadoop-2.7.3


# Hive Configuration Directory can be controlled by:


export HIVE_CONF_DIR=/opt/modules/hive-1.2.1/conf

启动bln/hive
基本使用
show databases;(tables)
use databasesl;
desc tb_name;
desc formatted tb_name;



# HIVE HOME
  export HIVE_HOME=/opt/modules/hive-1.2.1
  export PATH=${PATH}:$HIVE_HOME/bin:$HIVE_HOME/conf


source /etc/profile 




练习
创建表
导入数据
实现业务( 写sql)