![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 60
Nougats
这个作者很懒,什么都没留下…
展开
-
hive beeline连接hiveserver2
方法1 方法2 进入beeline,使用命令登录 !connect jdbc:hive2://localhost:10000用户名和密码输root原创 2017-05-11 14:03:50 · 8059 阅读 · 0 评论 -
hive array基本操作:建表+查询+修改
hive array基本操作:建表导入数据查询修改列名原创 2017-05-05 09:41:25 · 6796 阅读 · 0 评论 -
mysql 查询所有用户
SELECT DISTINCT CONCAT(‘User: ”’,user,”’@”’,host,”’;’) AS query FROM mysql.user; 查看mysql数据库所有的用户原创 2017-05-16 13:26:49 · 782 阅读 · 0 评论 -
Hive 与 Hbase的不同之处
Hive可以看作是用户编程接口(能执行MapReduce作业的类SQL编程接口),它本身不存储和计算数据 它依赖于HDFS和MapReduce,对HDFS的操作类似于SQL—名为HQL,HQL经过编译转为MapReduce作业 Hbase 运行于HDFS顶层的NoSQL(=Not Only SQL,非关系型数据库)数据库系统 区别于Hive,HBase具备随即读写功能,是一种面向列的数据库Hi原创 2017-06-30 20:26:33 · 538 阅读 · 0 评论 -
hive UDF详解&实例
实现UDF(User-Defined-Function) 需要继承org.apache.hadoop.hive.ql.UDF 需要实现evaluate函数(evaluate函数支持重载)实例:实现UDF查找hive表中array类型列的值中是否包含某一项 SELECT FIND_IN_ARRAY(column, ‘key’) FROM users; 数据准备# cat /root/person原创 2017-05-04 09:52:26 · 2813 阅读 · 0 评论 -
hive UDAF详解
User Defined Aggregation Funcation 用户自定义聚类方法 需要继承org.apache.hadoop.hive.ql.exec.UDAF类 内部类Evaluator实现org.apache.hadoop.hive.ql.exec.UDAFEvaluator接口,主要实现init、iterate、terminatePartial、merge、terminate这几原创 2017-05-14 14:48:46 · 2617 阅读 · 1 评论 -
Spark 提升spark1.6提交任务速度+配置spark2.x后hiveserver2运行失败
spark提升提交任务速度在spark-defaults.conf中配置一句spark.yarn.jar=hdfs:///lib/spark-assembly-1.6.3-hadoop2.6.0.jar并把jar包上传到配置的位置,可以避免每次提交任务都重新上传 在spark1.6版中,看启动的控制台日志可以发现,每次提交任务到yarn都会从本地上传一遍此jar包配置spark2.x后hivese原创 2017-07-21 20:39:56 · 1124 阅读 · 0 评论 -
spark 2.1.1访问hive2.3.0
添加jdbc依赖 我试验了6版本和8版本 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.43</version> </dependency>添加spark-hive支持依赖 <depende原创 2017-08-22 14:03:20 · 4563 阅读 · 0 评论 -
hive 2.3.0配置与部署
配置MySQL安装yum -y install mysql mysql-server mysql-devel启动service mysqld start开机启动chkconfig mysqld on登录mysql -u root初始化密码 mysql中输入use mysql;update user set password=password('root') where user='root';原创 2017-08-21 11:55:05 · 1399 阅读 · 0 评论