Hive
温文尔雅的流氓
尽人事 听天命
展开
-
修改core-site.xml中的fs.defaultFS对应端口,导致无法访问Hive数据的问题
手残把core-site.xm中的fs.defaultFS对应端口由8020改成了9000由于之前在Hive中创建的表元数据保存在MySQL中,通过desc formatted emp可以看到它保存的位置还是修改端口之前的元数据信息这样在Hive中查询该表数据会报无法连接报错解决方案:找到MySQL中保存Hive元数据信息的数据库,其中有一个DBS表,修改其DB_LOCATION_...原创 2019-12-11 23:12:30 · 2708 阅读 · 1 评论 -
Python 2.7.5操作Hive最全解析
前提:Hive默认用户名和密码为空,并没有做修改,可以在hive-site.xml中进行配置(1)安装相关Python库pip install saslpip install thriftpip install thrift-saslpip install PyHive安装sasl的过程中,可能会报以下错误:error: command 'gcc' failed with e...原创 2019-11-25 11:51:00 · 637 阅读 · 0 评论 -
hive正则匹配
第一步:创建apachelog表(用于存放apache的访问日志:access_log)CREATE TABLE apachelog ( host STRING, identity STRING, user_d STRING, time STRING, request STRING, status STRING, size STRING )ROW FORMAT SERDE 'org....原创 2018-04-14 22:17:44 · 2052 阅读 · 0 评论 -
hive单用户模式(Derby方式)配置及踩坑实录
第一步:将hive上传到master上 并解压第二步:将hive的conf目录下的hive-default.xml.template文件拷贝一份 并将名称改为hive-site.xml第三步:在hive-site.xml文件中加入以下内容:<configuration> <property> <name>javax.jdo.option.Connect...原创 2018-04-12 00:22:36 · 1664 阅读 · 0 评论 -
hive本地mysql方式(local方式)配置及踩坑实录
第一步:安装mysql第二步:上传mysql jdbc驱动程序到hive的lib目录下 并解压第三步:在hive-site.xml文件中加入以下内容:<configuration><property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive_rem...原创 2018-04-12 01:45:19 · 2889 阅读 · 0 评论 -
hive基本操作
1. 创建表格简单案例CREATE TABLE page_view ( page_url string, ip string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t'STORED AS TEXTFILE;行之间默认以换行符隔开 不需要指定关系型数据库数据以二进制文件形式存储 而hive中的数据以文本文件形式存储复杂案例CREATE TABLE ...原创 2018-04-13 21:55:58 · 7765 阅读 · 1 评论 -
使用JDBC连接和操作hive(hiveserver2)
第一步:创建项目 并导入hive相关jar包第二步:编写代码如下:import java.sql.Statement;import java.sql.DriverManager;import org.apache.tools.ant.taskdefs.Echo;public class TestHive2 { private static String driverName = "org.apa...原创 2018-04-14 00:12:08 · 5147 阅读 · 2 评论