苍穆-CSDN博客

原创 Spark 工作流程

1. Spark job提交过程Driver的任务提交过程 1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。 2、SparkContext调用DAGScheduler的runJob函数。 3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。...

2018-07-28 15:09:42 4944

原创 Netty介绍及入门示例

目录 1. 什么是netty2. 为什么需要netty2.1 Netty为什么并发高2.2 Netty为什么传输快2.3 为什么说Netty封装好？3. Netty基本概念3.1 Channel3.2 ByteBuf3.3 Codec4. 示例：4.1 server：4.2 ServerHandler4.3 Client:4.4 Clie...

2018-07-09 22:34:53 310

转载 TCP 为什么是三次握手，为什么不是两次或四次？

Mark一下作者：郭无心链接：https://www.zhihu.com/question/24853633/answer/63668444来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。TCP连接建立过程中为什么需要“三次握手”在谢希仁著《计算机网络》第四版中讲“三次握手”的目的是“为了防止已失效的连接请求报文段突然又

2017-07-05 10:35:51 789

原创 Spark运行在EMR Jar包(guava)冲突问题

Spark程序运行在EMR的时候发生Jar包冲突(主要是guava和commons-configuration两个包发生冲突)，程序中需要使用guava-20.0以及commons-configuration-1.10两个包

2017-06-21 17:24:37 2542

转载 Hive数据仓库(11)之解析Json格式文件

转载自Lamborryan，作者：Ruan Chengfeng 本文链接地址：http://www.lamborryan.com/hive-json1.简介公司的日志都是以json格式保存的且存放在HDFS上的，有时候需要直接通过查询Hive就能得到日志里面的具体信息。要实现以上的目的，HIVE提供了三种方法，分别是:UDF get_json_object(string jso

2017-05-27 10:36:44 6304 1

转载 Hive serde 序列化表例子

文章转载自： http://blog.csdn.net/mango_song/article/details/125621371. 概述一个文本f1.txt的格式如下：[plain] view plain copyprint?1 tom 2 jame 3 mango

2017-05-27 10:34:22 447

转载 hive load data

一、创建表在官方的wiki里，example是这样的：Sql代码 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PART

2017-05-27 10:28:07 1907

转载 hive从查询中获取数据插入到表或动态分区

Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st是该表的两个属性，我们做个试验将该表中的数据查询出来插入到另一个表employees中。INSERT OVERWRITE TABLE employeesPARTITION (country = '中国

2017-05-27 10:16:51 1227

原创 Java 使用JDBC连接 Hive(HiveClient On JDBC)

使用JDBC方式连接Hive 。

2017-05-26 16:07:35 20061 3

原创 Flume 小记(三) HttpSource 存入本地

FileRollSink" style="margin:0px; padding:0px; font-size:16px; line-height:1.5; color:rgb(51,51,51); font-family:Arial,sans-serif">HttpSource -> File Roll Sink FileRollSink 可以将source中的数据存如本地，但Fi

2016-12-08 10:07:09 4035

原创 Flume 小记(二) HttpSource 存入Hive

HDFSSink" style="margin:0px; padding:0px; font-size:16px; line-height:1.5; color:rgb(51,51,51); font-family:Arial,sans-serif">HttpSource -> HDFS Sink这里采用了直接存入HDFS，并在在Hive 建外部表映射到同一地址的方法间接存入

2016-12-06 20:56:10 1190

原创 Flume 小记(一) 入门、小结、注意事项

一. 入门：安装、部署、及简单案例 Flume 的安装，介绍，特性，核心概念等在这就不再赘述，请参考 http://www.aboutyun.com/thread-8917-1-1.html ，作者的介绍和案例都比较详细二. HttpSource 使用小结这次主要拿 Flume 的HttpSource 做案例，用到了 File Roll Sink , HDFS Sin

2016-12-06 20:48:53 857

苍穆的博客