Hadoop/spark
caicongyang
普通加2B程序猿攻城湿...
展开
-
Hadoop读书笔记(二)HDFS的shell操作
Hadoop读书笔记(二)HDFS的shell操作原创 2014-11-18 21:23:40 · 1725 阅读 · 0 评论 -
Zookeeper集群shell操作
Zookeeper集群shell操作(简单)原创 2015-04-13 20:52:05 · 1660 阅读 · 0 评论 -
Hbase shell操作(完整版记录)
Hbase shell操作(完整版)原创 2015-04-23 22:15:18 · 1267 阅读 · 0 评论 -
Zookeeper集群Java操作(zookeeper3.4.5)
Zookeeper集群Java操作[包含创建节点,设置节点内容、修改节点内容,删除节点,获取子节点等简单操作]基于zookeeper3.4.5原创 2015-04-13 21:57:03 · 2069 阅读 · 0 评论 -
Hbase集群client执行报错:Unable to find region for TABLE,,99999999999999 after 10 tries.
Hbase集群client执行报错:Unable to find region for TABLE,,99999999999999 after 10 tries.原创 2015-05-09 22:14:52 · 4219 阅读 · 0 评论 -
Hbase Client Test Case
Hbase Client Test Case原创 2015-04-28 22:15:01 · 1142 阅读 · 0 评论 -
APACHE PIG BATCH MODE初体验
PIG BATCH MODE初体验原创 2015-10-02 23:34:53 · 511 阅读 · 0 评论 -
云计算和大数据入门
云计算入门美国国家标准与技术研究所 (NIST) 已经通过建立云服务模式和云部署模式进一步定义了什么是云计算。云服务模式 是一些方法,组织可以通过这些方法根据需要使用云计算,这些模式包括基础架构即服务 (IaaS)、平台即服务 (PaaS) 或软件即服务 (SaaS)。请注意,云计算用户使用 IaaS 获得的灵活性最大,使用 SaaS 获得的灵活性最小。但是,IaaS 提供的灵活性原创 2013-09-30 16:36:49 · 2000 阅读 · 0 评论 -
云计算的相关概念
云计算的相关概念-收集于网络原创 2013-11-30 15:57:47 · 1577 阅读 · 0 评论 -
flink
原创 2018-01-23 12:50:36 · 329 阅读 · 0 评论 -
flink sql demo
package flink.demo;import com.alibaba.fastjson.JSONObject;import com.enniu.cloud.services.riskbrain.flink.job.EnniuKafkaSource;import java.util.ArrayList;import java.util.HashMap;import java.uti...原创 2018-07-03 16:37:28 · 4991 阅读 · 2 评论 -
spark 逻辑执行图&物理执行图
1.逻辑执行图job 会经过哪些transformation中间会生成哪些rddrdd之间的依赖关系narrow dependences :父rdd 中的数据不被拆分shuffle dependences : 父rdd中的数据被拆分rdd中的partition个数一般情况下由父rdd的最大partition个数来决定,部门rdd可以由用户来指定,比如shffledRDD...原创 2019-05-12 14:43:27 · 817 阅读 · 0 评论 -
Hadoop读书笔记(十三)MapReduce中Top算法
MapReduce中Top算法;利用Hadoop从100w数据中找到最大值问题.原创 2014-12-02 22:39:28 · 1162 阅读 · 0 评论 -
Hadoop读书笔记(八)MapReduce 打成jar包demo
Hadoop读书笔记(八)MapReduce 运行时指定参数;如何将MapReduce 打成jar包;原创 2014-11-26 21:24:05 · 1545 阅读 · 0 评论 -
Hadoop读书笔记(一)Hadoop介绍
Hadoop读书笔记(一)原创 2014-10-08 20:53:54 · 2101 阅读 · 0 评论 -
Hadoop读书笔记(三)Java API操作HDFS
Hadoop读书笔记(三)Java API操作HDFS多种方法诠释,注释清晰,史上最全咯!原创 2014-11-19 22:25:25 · 3935 阅读 · 0 评论 -
Hadoop读书笔记(四)HDFS体系结构
Hadoop读书笔记(四)HDFS体系结构。纯文字性描述,无图无分析,仅作个人初学习记忆和参考原创 2014-11-20 22:23:18 · 1615 阅读 · 0 评论 -
Hadoop读书笔记(九)MapReduce计数器
Hadoop读书笔记(九)MapReduce计数器;MapReduce自定义计数器原创 2014-11-26 22:54:47 · 968 阅读 · 0 评论 -
Hadoop读书笔记(六)MapReduce自定义数据类型demo
Hadoop读书笔记(六)MapReduce自定义数据类型demo原创 2014-11-25 21:20:52 · 2235 阅读 · 0 评论 -
Hadoop读书笔记(十一)MapReduce中的partition分组
实例讲解Hadoop中MapReduce中的partition分组原创 2014-12-01 22:05:37 · 1396 阅读 · 0 评论 -
Hadoop读书笔记(十)MapReduce中的从计数器理解combiner归约
Hadoop读书笔记(十)MapReduce中的combiner编程。从计数器分析combiner的作用...原创 2014-12-01 21:40:41 · 1392 阅读 · 0 评论 -
Hadoop读书笔记(十二)MapReduce自定义排序
Hadoop读书笔记(十二)MapReduce自定义排序原创 2014-12-02 22:34:38 · 1070 阅读 · 0 评论 -
Hadoop读书笔记(七)MapReduce 0.x版本API使用demo
Hadoop读书笔记(七)MapReduce 0.x版本API使用demo原创 2014-11-25 22:31:39 · 1176 阅读 · 0 评论 -
Hadoop读书笔记(五)MapReduce统计单词demo
Hadoop读书笔记(五)MapReduce统计单词demo原创 2014-11-24 21:33:50 · 2689 阅读 · 0 评论 -
Hadoop读书笔记(十四)MapReduce中TopK算法(Top100算法)
Hadoop1.x中MapReduce中TopK算法(Top100算法)原创 2014-12-11 21:46:00 · 5159 阅读 · 3 评论 -
spark 知识总结xmind
原创 2019-05-12 14:52:04 · 377 阅读 · 0 评论