秋雨ヾ的博客

1.上传hive的tar包apache-hive-2.3.7-bin.tar.gz2.解压hive的tar包tar -xzf apache-hive-2.3.7-bin.tar.gz3.添加hive的环境变量进入hive的 /etc/profile文件vim /etc/profile添加以下内容#HIVE_HOMEexport HIVE_HOME=/opt/hive-2.3.7export PATH=$PATH:$HIVE_HOME/bin使配置环境生效source /etc/

Error: Could not open client transport with JDBC Uri: jdbc:hive2://node1:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: root is not al

1.SecureCRT 7.3出现乱码或者删除不掉数据，免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT2.连接不上mysql数据库 （1）导错驱动包，应该把mysql-connector-java-5.1.27-bin.jar导入/opt/module/hive/lib的不是这个包。错把mysql-connector-java-5.1.27.tar.gz导入hive/lib包下。 （2）修改user表中的主机名称没有都修改为%，而是修改为localhost3.

告诉hive，hbase放到哪了？export HBASE_HOME=/data/hbase/hbase-2.2.2先登录hbase,在进入hive操作hbase创建表格式例：-- 创建一张表,有两列,key int,另外一个是value string类型CREATE TABLE hbase_table_1(key int, val string)-- 这个代码写死 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'-- hiv

1.导入hive的tar包2.解压hive的tar包tar -xzf apache-hive-3.1.1-bin.tar.gz3.配置hive将conf/hive-env.sh.template复制为conf/hive-env.sh修改conf/hive-env.sh里的HDOOP_HOME为HADOOP_HOME= /data/hadoop/hadoop-3.2.1(haoop的地址)4.配置conf/hive-site.xml...

org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.Underlying cause: java.sql.SQLException : Access denied for user 'root'@'hadoop101' (using password: YES)错误原因用户xxxxx权限不足进入mysql,查询用户:grant all on *.* to 'root'@'hadoop10

安装apache-hive-3.1.1时启动hive时出现的错误第一条错误原因：HIVEHOME/lib目录下没有找到mysql−connector的jar包，因为我配置的源数据是MySQL数据库，然后把mysql−connector−java−5.1.27−bin.jar下载放到{HIVE_HOME}/lib目录下没有找到mysql-connector的jar包，因为我配置的源数据是MySQL数据库，然后把mysql-connector-java-5.1.27-bin.jar下载放到HIVEH​OM

原文链接未被external修饰的是内部表，被external修饰的是外部表内部表的数据有hive自身管理，外部表的数据有HDFS管理内部表数据存储的位置是hive.metastore.warehouse.dir（默认： /user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这里）；删除内部表会直接删除元数据和存储数据，.

一、表连接优化将大表放后头Hive假定查询中最后的一个表是大表。它会将其它表缓存起来，然后扫描最后那个表。因此通常需要将小表放前面，或者标记哪张表是大表：/*streamtable(table_name) */使用相同的连接键当对3个或者更多个表进行join连接时，如果每个on子句都使用相同的连接键的话，那么只会产生一个MapReduce job。尽量尽早地过滤数据减少每个...

解决方案1.登陆mysql，修改hive metastore版本：进行mysql：mysql -uroot -p 123456use hive; select * from version;update VERSION set SCHEMA_VERSION='3.1.1' where VER_ID=1;2.简单粗暴：在hvie-site.xml中关闭版本验证<proper...

报这个错，是因为关键在: com.google .common.base .Preconditions.checkArgument这是因为hive内依赖的guava.jar和hadoop内的版本不一致造成的。检验方法:1.查看hadoop安装目录下share/hadoop/common/lib内guavajar版本2.查看hive安装目录下lib内guavajar的版本如果两者不一致， ...

第1章 Hive基本概念1.1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上1.2 ...