大JAVA解决方案

数据科学

Hive-JSON 原始数据映射 Hive 表结构

  2017年08月18日 15:29:35 阅读数:1446 标签: hive json hadoop 大数据  更多 个人分类: 大数据-Hive 版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/u011278496/article/deta...

2018-09-09 18:32:35

阅读数:11

评论数:0

Hive Dynamic Partition

  2017年02月09日 13:30:11 阅读数:2139 标签: hive  更多 个人分类: hive 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_26937525/article/details/54946281 简介...

2018-09-08 18:08:43

阅读数:17

评论数:0

hive 之start hiveServer2 ,thriftServer失败

hive 之start hiveServer2 ,thriftServer失败 报错信息如下: ERROR org.apache.hive.service.cli.thrift.ThriftCLIService: [Thread-11]: Error starting HiveServer2:...

2018-09-08 18:08:16

阅读数:23

评论数:0

hive加载json数据和解析json

  2018年02月28日 13:27:58 阅读数:3472 标签: json  更多 个人分类: hive 事先说明,本人菜鸡一只,如果有说错的地方,还请大家指出批评,多多包涵~ 一、 今天记录一下使用hive怎么加载json格式的数据,对于json格式,就不多做更多说明了,测试的...

2018-09-08 18:08:11

阅读数:24

评论数:0

hive中简单介绍分区表(partition table),含动态分区(dynamic partition)与静态分区(static partition)

   (2011-07-29 14:29:03) 转载▼ 标签:  hadoop   hive   partition   name   分区表   动态分区   静态分区 分类: Had...

2018-09-08 18:08:05

阅读数:11

评论数:0

Beeline 要与HiveServer2配合使用,支持嵌入模式和远程模式

  启动HiverServer2 , ./bin/hiveserver2  启动Beeline  wangyue@wangyue-um:~/opt/hive/hive-0.12.0-cdh5.1.0$ ./bin/beeline  beeline> !connect ...

2018-09-08 18:08:00

阅读数:27

评论数:0

JVM性能调优监控工具jps、jstack、jmap、jhat、jstat使用详解

  JDK本身提供了很多方便的JVM性能调优监控工具,除了集成式的VisualVM和jConsole外,还有jps、jstack、jmap、jhat、jstat等小巧的工具,本博客希望能起抛砖引玉之用,让大家能开始对JVM性能调优的常用工具有所了解。     现实企业级Java开发中,有时候我...

2018-09-08 12:32:22

阅读数:22

评论数:0

Java操作Sqoop对象

  2016年12月08日 17:40:20 阅读数:6167 标签: sqoop eclipse java windows hadoop  更多 个人分类: Sqoop 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sl1992/art...

2018-09-07 14:52:13

阅读数:19

评论数:0

Hive2.0函数大全(中文版)

    摘要 Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。   目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数     数学函数...

2018-09-07 12:43:28

阅读数:24

评论数:0

hive分区表

hive分区表 2017年07月17日 00:32:10 阅读数:994 标签: hive 数据 分区表  更多 个人分类: hive 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010521842/article/details/7...

2018-09-04 17:39:15

阅读数:11

评论数:0

导入数据到hive外部表

导入数据到hive外部表; 1.hive命令创建外部表。 create EXTERNAL table applogsnew ( applogid string, msgtype string, clienttype string, userid bigint ) PARTITIONED BY (...

2018-09-04 13:26:36

阅读数:77

评论数:0

hive 简单优化

基本语法 基本数据类型 hive支持多种不同长度的整型和浮点型数据,支持布尔型,也支持无长度限制的字符串类型。例如:TINYINT、SMALINT、BOOLEAN、FLOAT、DOUBLE、STRING等基本数据类型。这些基本数据类型和其他sql方言一样,都是保留字。 集合数据类型 ...

2018-09-02 19:06:33

阅读数:13

评论数:0

利用shell脚本监控linux中CPU、内存和磁盘利用率。(centos7)

利用shell脚本监控linux中CPU、内存和磁盘利用率。(centos7) 2017年11月21日 11:42:00 阅读数:182   这篇博客中所写的,在实际工作中并没有什么卵用,工作中并不会用到这种脚本去监控。不过自己写一遍,可以让初学者对CPU、内存、磁盘等一些基础知识和基础命令更...

2018-08-31 09:21:29

阅读数:31

评论数:0

linux监控cpu和内存使用情况,发送邮件

linux监控cpu和内存使用情况,发送邮件 2018年08月01日 16:06:45 阅读数:66更多 个人分类: Linux 目录 1.整体架构图 2.代码 3.邮件发送过慢的问题 这几天老大安排做linux服务器的工具,又接了几个巨坑,不过还是get新技能点。 1.整体架构图...

2018-08-31 08:51:32

阅读数:95

评论数:0

[一起学Hive]之五-Hive的视图和分区

lxw的大数据田地 Hadoop/Hive/HBase/Spark/Java 首页 Hadoop Spark Hive Kafka Flume 大数据平台 Kylin 专题文章 Spark算子 一起学Hive Hive存储过程 Hive分析函数 Spark On...

2018-08-29 21:34:10

阅读数:39

评论数:0

[一起学Hive]之六-Hive的动态分区

[一起学Hive]之六-Hive的动态分区 博客分类:  hive hivehive动态分区         前面文章介绍了Hive中是支持分区的。        关系型数据库(如Oracle)中,对分区表Insert数据时候,数据库自动会根据分区字段的值,将数据插入到相应的分区中,Hiv...

2018-08-29 21:15:28

阅读数:20

评论数:0

执行hive -e sql 报错

at org.apache.hadoop.util.RunJar.main(RunJar.java:212)FAILED: ParseException line 1:6 cannot recognize input near '<EOF>' '&am...

2018-05-04 11:36:27

阅读数:263

评论数:0

hive 执行文件sql 并打印到指定文件中收集查询结果演示

Last login: Thu May  3 04:48:24 2018 from 192.168.72.1[wangshumin@centoshostnameKL3 ~]$ touch hiveselectuser.sql[wangshumin@centoshostnameKL3 ~]$ vim...

2018-05-04 11:15:38

阅读数:221

评论数:0

Hive2.0中HiveServer2的WEB UI界面

Hive2.0中HiveServer2的WEB UI界面 Hive  lxw1234@qq.com  2年前 (2016-06-01)  7837℃  0评论Hive从2.0版本开始,为HiveServer2提供了一个简单的WEB UI界面,界面中可以直观的看到当前链接的会话、历史日志、配置参数以...

2018-03-25 17:45:28

阅读数:151

评论数:0

hive-TextInputformat自定义分隔符

hive-TextInputformat自定义分隔符原创 2015年06月03日 11:38:273440前言在一次利用sqoop将关系型数据库Oracle中的数据导入到hive的测试中,出现了一个分割符的问题。oracle中有字段中含有\n换行符,由于hive默认是以’\n’作为换行分割符的,所...

2018-03-25 17:45:20

阅读数:84

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭