要提前安装Hadoop
下载spark并在虚拟机解压,
-
解压到usr/local
-
文件夹重命名为 spark
-
给当前用户这个文件夹的权限
-
修改spark的配置文件 spark-env.sh[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YqQtOlO5-1603533615805)(en-resource://database/972:0)]
在第一行添加以下配置信息
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
-
运行spark自带的示例,验证知否安装成功[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b6ZCBu3I-1603533615808)(en-resource://database/974:0)]
spark安装成功 -
启动Spark shell
bin/spark-shell
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AAT3pbId-1603533615811)(en-resource://database/976:0)]
运行成功 -
简单shell操作
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OP5A3efm-1603533615814)(en-resource://database/978:0)] -
安装Scala
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tm3OvB6b-1603533615816)(en-resource://database/980:0)]
安装hive
-
下载压缩包并在虚拟机中解压
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5OytDidl-1603533615817)(en-resource://database/982:0)] -
重命名并修改文件权限
chown -R hadoop hive
-
配置环境变量
在.bashrc中添加
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
- 修改hive中的配置文件
将hive-default.xml.template重命名为hive-default.xml;然后,使用vim编辑器新建一个配置文件hive-site.xml
在hive-site.xml中添加以下信息
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
<description>password to use against metastore database</description>
</property>
</configuration>
- 安装并配置Mysql。下载Mysql jdbc包并把里面的jar包放到hive的lib中
- 启动Mysql服务,并登录shell界面
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B9UKhFAl-1603533615818)(en-resource://database/984:0)] - 配置mysql允许hive接入
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h75in4A0-1603533615819)(en-resource://database/986:0)] - 启动hive
- 启动的时候遇到两个问题
1.一是一大堆报错然后中间有
java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument,
这是因为hive内依赖的guava.jar和hadoop内的版本不一致造成的。
- 关于hive异常:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor,这是没有初始化数据库导致,执行名称初始化数据库即可。
schematool -dbType mysql -initSchema
- 启动的时候遇到两个问题
- 解决这两个问题后就可以启动hive然后执行HiveQL操作
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LwmTCiVf-1603533615819)(en-resource://database/988:0)]
YX笔记链接(有图)
https://app.yinxiang.com/shard/s22/nl/23324337/e6319147-4c70-46dd-8ea9-2ffe9d3f4ea2