Hadoop中spark和hive安装配置

要提前安装Hadoop

下载spark并在虚拟机解压，

• 解压到usr/local

• 文件夹重命名为 spark

• 给当前用户这个文件夹的权限

• 修改spark的配置文件 spark-env.sh[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YqQtOlO5-1603533615805)(en-resource://database/972:0)]
  在第一行添加以下配置信息
  export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

• 运行spark自带的示例，验证知否安装成功[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b6ZCBu3I-1603533615808)(en-resource://database/974:0)]
  spark安装成功

• 启动Spark shell
  bin/spark-shell
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AAT3pbId-1603533615811)(en-resource://database/976:0)]
  运行成功

• 简单shell操作
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OP5A3efm-1603533615814)(en-resource://database/978:0)]

• 安装Scala
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tm3OvB6b-1603533615816)(en-resource://database/980:0)]

安装hive

• 下载压缩包并在虚拟机中解压
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5OytDidl-1603533615817)(en-resource://database/982:0)]

• 重命名并修改文件权限
  chown -R hadoop hive

• 配置环境变量
  在.bashrc中添加

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/usr/local/hadoop

• 修改hive中的配置文件
  将hive-default.xml.template重命名为hive-default.xml；然后，使用vim编辑器新建一个配置文件hive-site.xml
  在hive-site.xml中添加以下信息

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
    <description>password to use against metastore database</description>
  </property>
</configuration>

• 安装并配置Mysql。下载Mysql jdbc包并把里面的jar包放到hive的lib中
• 启动Mysql服务，并登录shell界面
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B9UKhFAl-1603533615818)(en-resource://database/984:0)]
• 配置mysql允许hive接入
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h75in4A0-1603533615819)(en-resource://database/986:0)]
• 启动hive
  • 启动的时候遇到两个问题
    1.一是一大堆报错然后中间有
    java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument，
    这是因为hive内依赖的guava.jar和hadoop内的版本不一致造成的。
  2. 关于hive异常：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor，这是没有初始化数据库导致，执行名称初始化数据库即可。
     schematool -dbType mysql -initSchema
• 解决这两个问题后就可以启动hive然后执行HiveQL操作
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LwmTCiVf-1603533615819)(en-resource://database/988:0)]

YX笔记链接（有图）

https://app.yinxiang.com/shard/s22/nl/23324337/e6319147-4c70-46dd-8ea9-2ffe9d3f4ea2