hadoop单机版
hive使用
首先确保linux环境已有java环境
使用jps命令 看下面四个进程 是hdsf(hadoop)必须要启动的进程
hadoop目录文件预览 注意使用目录
etc 配置
sbin 启动文件
share 例子jar
配置文件在etc/hadoop下面
需要修改的文件如下:内容可以自行百度 很简单 配个端口 主机名 内存等
start-all.sh 正常启动这个就可以了 如jps进程里看不到datanode 或者namenode 需要自行启动
./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode
首次启动之后 格式下一下
hadoop namenode -format
hadoop datanode -format
测试计算pi
访问ip:50070 查看页面
查看ip:8088
上面hdfs(hadoop)已基本构建完成,记得hdfs数据目录要给够权限 hadoop_home也要配置好
hive安装比较简单,需要hadoop的环境就可以了
看下目录结构
bin 启动
conf 配置
lib jar包 如果是mysql形式需要加入驱动jar包的
bin下有几种启动模式
1、本服务器上直接使用 ./hive 就能启动了 之后进入sql形式 去执行语句。
2、启动后台服务 远程连接 nphup hiveserver2 &;
3、也可以用 beeline -u jdbc:hive2://主机名或ip:10000 -n root
通过配置文件设置10002端口 可以访问hive ui页面
<property>
<name>hive.server2.webui.port</name>
<value>10002</value>
</property>
在lib下 放入MySQL驱动包 如下
在conf目录下
将template文件复制一个改名
将内容进行修改 具体可以百度
如果用mysql 需要修改site配置 加入mysql地址 用户名 密码 及库名 等
设置下hive_home环境变量 就完成了
可以启动尝试下
mysql先建个hive库 启动后初始化 会生成一些表 初始化命令(schematool -initSchema -dbType mysql)