![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
maketubu7
这个作者很懒,什么都没留下…
展开
-
flume导入日志数据之hive分区
1、环境配置,截图如下2、我们知道sink-hive官网上有一个分区的示例,我们看一下但是这个示例我没有看懂什么意思,所以作为小白的我,开始了另一种分区的方式2.1首先我们看看我们需要分区的日志文件的格式"27.38.5.159" "-" "31/Aug/2015:00:04:37 +0800" "GET /course/view.php?id=27 HTTP/1.1" "303" "440&quo原创 2018-06-29 18:43:34 · 4548 阅读 · 1 评论 -
遇见hive之初级篇 ————hive数据仓库与hdfs的关系、以及hive的基础语句、表结构的介绍、
1、hive概述: 由Facebook开源用于解决海量结构化日志的数据统计,后称为Apache Hive为一个开源项目 -->结构化数据:数据类型,字段,value---》hive-->非结构化数据:比如文本、图片、音频、视频---》会有非关系型数据库存储,或者转换为结构化-->结构化日志数据:服务器生成的日志数据,会以空格或者制表符分割的数据,比如:apache、ngi...原创 2018-05-17 22:15:49 · 5484 阅读 · 1 评论 -
初试动态分区
创建一张静态分区表create table par_tab_static1 (name string,nation string) partitioned by (sex string) row format delimited fields terminated by ',';man=================================jan,china ...原创 2018-05-24 19:57:37 · 278 阅读 · 0 评论 -
遇见Hive之中级篇————hive的导入导出方式,分析及窗口函数,排序类型及UDTF函数设定,hiveserver2介绍
1、hive的几种导出方式将数据导出到本地 -->insert ove...原创 2018-05-20 23:11:19 · 331 阅读 · 0 评论 -
hive 修改元数据库 对mysql的修改及权限设置
1、查看对应的权限(把表清空)select user,host from mysql.user;mysql> d.1';Query OK, 1 row affected (0.00 sec)elete from user where host='127.0.0mysql> delete from user where host='make.spark.com';Query OK, 2 ...原创 2018-07-10 22:49:22 · 1166 阅读 · 0 评论 -
遇见hive之记忆篇--运用sqoop对数据的同步的常见错误,及hive的存储格式分析(压缩格式)
2018-6-5原创 2018-06-06 15:31:03 · 2300 阅读 · 0 评论 -
jg的相关知识点
1、jg分为节点表,和边表,节点有自己的jid和相关属性字段,这个jid为全局唯一,每一个节点的jid都不一样2、边表会保存两个jid,一个start_jid,为起始节点,一个end_jid,为终止节点,还包括边的相关属性信息3、因为jg的数据是存入hbase中的,所以要对index即jid进行散列,防止热点 一个hive到jg的数据写入和rowkey设计的案列# encod...原创 2018-10-30 10:56:48 · 783 阅读 · 0 评论 -
pyspark 对接kafka 写入hive
1、pyspark 对接kafka需要依赖一些jar包 kafka-0-8或者kafka-0-10的关于kafka版本的全部的包 大概如下,反正如果jar包不全会有各种异常信息,到时候对应着补齐就行,注意自己的kafka和spark的版本 kafka_2.x-0.x.0.0.jar kafka-client-0.x.0.0.jar spark-sql-kafk...原创 2019-03-08 11:55:04 · 2459 阅读 · 0 评论 -
记一次pyspark 的一个报错处理
在运行PySpark程序的时候,报错为:PySpark error: AttributeError: 'NoneType' object has no attribute '_jvm'是因为定义了一个udf函数,在函数中使用abs()方法,于是就出现了这种情况查找原因发现是使用from pyspark.sql.functions import * 语句引入的时候,覆盖了abs()方法导致...原创 2019-03-30 16:54:27 · 662 阅读 · 0 评论