- 博客(57)
- 收藏
- 关注
RSS订阅转载 Java时间戳与日期格式字符串的互转
在处理时间时，可能会遇到时间戳与日期格式字符串的互相转化原文链接：http://www.cnblogs.com/DreamDrive/p/5735758.htmlimport java.text.SimpleDateFormat;import java.util.Date;public class DateUtil { /** * 时间戳转换成日期格式字符串 ...
2018-11-13 14:28:51
146
转载 Flume中的拦截器（Interceptor）介绍与使用
原文链接：http://lxw1234.com/archives/2015/11/543.htmFlume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.6中目前提供了以下拦截器：Timestamp...
2018-11-10 15:20:58
203
原创 复杂嵌套格式json数据转换
需求：将复杂格式的字符串，按照指定顺序，将value进行输出json数据源：{ "UnicomWarning": { "Version": "1.0", "TestFlag": &quot
2018-11-10 14:32:50
3450
转载 linux ncat命令
linux ncat命令原文地址：https://www.cnblogs.com/zzPrince/p/6842951.htmlnetcat是网络工具中的瑞士军刀，它能通过TCP和UDP在网络中读写数据。通过与其他工具结合和重定向，你可以在脚本中以多种方式使用它。使用netcat命令所能完成的事情令人惊讶。netcat所做的就是在两台电脑之间建立链接并返回两个数据流，在这之后所能做的事就看你...
2018-11-02 17:13:24
888
转载 Flume中同时使用Kafka Source和Kafka Sink的Topic覆盖问题
转载原文地址：http://lxw1234.com/archives/2016/06/684.htm如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events，便会遇到Kafka Topic覆盖问题，具体表现为，Kafka Source可以正常从指定的Topic中读取数据，但在Kafka Sink中配置的目标Topic不起作用，数据仍然会被写入到...
2018-11-01 09:15:36
356
原创 自定义Flume的Interceptor，编写、配置与使用
基于需求，自己写了一个Flume的Interceptor，主要需求如下：kafka中数据格式为json字符串，需要利用Flume消费kafka中的数据，并按照指定的key的顺序，将value输出，并用指定分隔符分隔输入：String JsonString = "{'key1':'a','key2':'b','key3':'c','key4':'d','key5':'e','key6':'f'}...
2018-10-31 23:45:56
1351
翻译 fume的sink---HDFS Sink
HDFS SinkThis sink writes events into the Hadoop Distributed File System (HDFS). It currently supports creating text and sequence files. It supports compression in both file types. The files can be r...
2018-10-29 22:41:58
346
翻译 Flume的Source--KafkaSource
以前多是用kafka来消费flume中的数据，今天突然要用flume消费kafka中的数据时，有点懵，赶紧查一查Apache的官宣~~~~~~flume从kafka中消费数据一、kafkaSourceKafka Source is an Apache Kafka consumer that reads messages from Kafka topics. If you have multi...
2018-10-29 21:23:05
8469
转载 hive函数总结---表生成函数
explode将hive的复杂数据类型拆分成多行。explode (array)select explode(array('A','B','C'));select explode(array('A','B','C')) as col;select tf.* from (select 0) t lateral view explode(array('A','B','C')) tf;sele...
2018-10-29 19:36:54
554
转载 hive函数总结---集合统计函数
个数统计函数: count语法: count(), count(expr), count(DISTINCT expr[, expr_.])返回值: int说明: count()统计检索出的行的个数，包括 NULL 值的行；count(expr)返回指定字段的非空值的个数；count(DISTINCT expr[, expr_.])返回指定字段的不同的非空值的个数举例：hive&gt...
2018-10-28 14:56:21
183
转载 hive函数总结---字符串函数
字符串长度函数：length语法: length(string A)返回值: int说明：返回字符串A 的长度举例：hive> select length('abcedfg') from lxw_dual;7字符串反转函数：reverse语法: reverse(string A)返回值: string说明：返回字符串A 的反转结果举例：hive> se...
2018-10-28 14:48:51
202
转载 hive函数总结---日期函数
UNIX时间戳转日期函数：from_unixtime语法: from_unixtime(bigint unixtime[, string format])返回值: string说明: 转化 UNIX 时间戳（从 1970-01-01 00:00:00 UTC 到指定时间的秒数）到当前时区的时间格式举例：hive> select from_unixtime(1323308943,...
2018-10-28 14:33:07
218
转载 hive函数总结---数值计算
取整函数：round语法：round(double a)返回值：BIGINT描述：返回double类型的整数值部分（遵循四舍五入）举例：hive> SELECT round(3.1415926) FROM lxw_dual;3hive> SELECT round(3.5) FROM lxw_dual;4指定精度取整函数：round语法：round(doub...
2018-10-28 14:22:29
878
转载 hive函数总结---关系运算
关系运算：等值比较：=语法：A=B操作类型：所有基本类型描述：如果表达式A与表达式B相等，则返回TRUE，否则为FALSE举例：hive> SELECT 1 from lxw_dual WHERE 1=1;1不等值比较：<>语法：A<>B操作类型：所有基本类型描述：如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达...
2018-10-28 13:25:44
215
翻译 HiveQL：查询---SELECT...FROM子句
一、SELECT…FROM…查询语句CREATE TABLE employees( name STRING, salary FLOAT, subordinates ARRAY<STRING>, deductions MAP<STRING,FLOAT>, address STRUCT<street:STRING,city:STRING,sta...
2018-10-23 23:16:16
801
翻译 hive编程指南学习笔记-HiveSQL数据操作
HiveQL：数据操作向表中装载数据和从表中抽取数据到文件系统的数据操作语言部分一、向管理表/内部表中装载数据装载语句LOAD DATA LOCAL INPATH '${env:HOME}/california-employees' OVERWRITE INTO TABLE employees PARTITION (country='US',state='CA');数据将会...
2018-10-23 14:28:46
584
原创 Hive的ddl语句--思维导图
Hive的ddl语句–思维导图第一篇博客，来记录一下hive的学习历程，采用思维导图的方式，方便记忆；内容虽然简单，因为会sql的学hive应该不会太难，但是灵活使用对我来说还是有一定难度，特此记录。...
2018-10-23 00:49:56
514
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人