大数据
文章平均质量分 75
huo_火力全开
吃得苦中苦,方位人上人
展开
-
Flink调优-分区器策略
控制数据流向在流进行转换操作后,Flink通过分区器来精确得控制数据流向。Flink分区 器如下图1.随机分区器 ShufflePartitioner根据均匀分布对元素进行随机划分@Internalpublic class ShufflePartitioner<T> extends StreamPartitioner<T> { private stati...原创 2020-02-20 18:40:07 · 1239 阅读 · 0 评论 -
OGG 同步Oracle 无主键表 到Kafka
场景OGG中同步Oracle表到Kafka,有些Oracle表有主键,有些没主键,对于没主键的表怎么给表自定义加主键解决Extract 进程extract etest10GETUPDATEBEFORESNOCOMPRESSDELETESNOCOMPRESSUPDATESTranlogOptions DBLOGREADERuserid ogg_admin, pas...原创 2019-09-27 15:04:37 · 1201 阅读 · 4 评论 -
Hive MetaStore简单剖析解析,持续整理中...
Hive MetaStore 包括 DBS,version,TBLS等的详细分析原创 2019-02-15 14:43:55 · 474 阅读 · 0 评论 -
配置多台机器SSH相互通信信任
1.5台机器执行 ssh-keygen[root@sht-sgmhadoopnn-01 ~]# ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Created directory ‘/root/.ssh’.Enter pass...原创 2018-10-31 16:37:28 · 315 阅读 · 0 评论 -
Hive(0):----HIVE产生背景,安装、部署
HIVE产生背景,安装、部署原创 2018-10-31 11:58:35 · 232 阅读 · 0 评论 -
linux及hadoop命令精华
以下是本人在工作和学习中总结的一些linux和hadoop的常用命令,有可能不够详细,但是绝对是精华原创 2018-10-23 14:01:10 · 983 阅读 · 0 评论 -
hadoop/yarn 命令提交MapReduce 作业(wc.txt)wordcount到Yarn
使用hadoop jar 或者 yarn jar 提交 wordcount 作业到yarn上原创 2018-10-25 15:50:05 · 2014 阅读 · 0 评论 -
HIVE创建表,数据也load进去了,但是 select *from table 时候 全是NULL
原因是创建表的时候没有指定表的分割符;默认\001原创 2018-10-22 16:07:17 · 1376 阅读 · 0 评论 -
linux下vim编辑前的使用(本人亲测)
vim有三种三种模式,以下分别演示在三种模式下的操作 三种模式切换 1.命令模式(+表示操作两个按键,如 shift+a 表示 按下shift键,同时按下:) 1) n gg:跳到第n行 2) gg:跳转到第一行 3) G:跳转到最后一行 4)gg dG:清空文件(按的时候一定要连贯) 5)G 6) /hello 搜索字符串 n...原创 2018-10-19 11:07:07 · 116 阅读 · 0 评论 -
HDFS总结
HDFS架构 hdfs执行流程 1)读流程 描述:1.client通过分布式FileSystem.open(path)方法,去与NN进行RPC通信,NN会校验是否存在 权限是否OK。 2.校验完成后,返回文件的部分或全部的block列表(其实就是返回FSDataInputStream对象) 3.Client调用FSDataInputStream对象的read(...原创 2018-10-15 17:29:33 · 234 阅读 · 0 评论 -
Yarn学习总结
1.yarn架构2.yarn执行流程 用户向Yarn的RM提交应用程序,其中包括 ApplicationMaster程序,启动ApplicationMaster命令等 2.RM首先为该app程序分配第一个container容器,并与对应的NM通信,要求NM在这个Container中启动应用程序的application master 3.App master首先向Apps man...原创 2018-10-15 17:26:22 · 261 阅读 · 0 评论 -
JVM解析
参考:JVM快速调优手册全集 1. 参数分类 1.标准参数 功能和输出的参数都是很稳定的 在未来的JVM版本中不会改变 可以使用java -help检索出所有的标准参数 2.X参数 非标准化参数 在未来的版本可能会改变 所有的参数都用-X开始 可以使用java -X检索 但是注意没有-Xcomp 3.XX参数 非标准 很长一段时间不会列出来 用于JVM...转载 2018-10-15 17:23:43 · 368 阅读 · 0 评论 -
HDFS
HDFS架构 HSFS执行流程 1)读流程描述:1.client通过分布式FileSystem.open(path)方法,去与NN进行RPC通信,NN会校验是否存在 权限是否OK。2.校验完成后,返回文件的部分或全部的block列表(其实就是返回FSDataInputStream对象)3.Client调用FSDataInputStream对象的read...原创 2018-10-18 14:08:47 · 137 阅读 · 0 评论 -
Hadoop配置文件参数详解
Hadoop运行模式分为安全模式和非安全模式,在这里,我将讲述非安全模式下,主要配置文件的重要参数功能及作用,本文所使用的Hadoop版本为2.6.4。转载至:https://www.cnblogs.com/yinghun/p/6230436.htmletc/hadoop/core-site.xmlhttps://www.cnblogs.com/yinghun/p/6230436.ht...原创 2018-10-18 11:33:27 · 225 阅读 · 0 评论