Hadoop/spark
caicongyang
普通加2B程序猿攻城湿...
展开
-
Hadoop读书笔记(二)HDFS的shell操作
Hadoop读书笔记(二)HDFS的shell操作原创 2014-11-18 21:23:40 · 1718 阅读 · 0 评论 -
Zookeeper集群shell操作
Zookeeper集群shell操作(简单)原创 2015-04-13 20:52:05 · 1659 阅读 · 0 评论 -
Hbase shell操作(完整版记录)
Hbase shell操作(完整版)原创 2015-04-23 22:15:18 · 1262 阅读 · 0 评论 -
Zookeeper集群Java操作(zookeeper3.4.5)
Zookeeper集群Java操作[包含创建节点,设置节点内容、修改节点内容,删除节点,获取子节点等简单操作] 基于zookeeper3.4.5原创 2015-04-13 21:57:03 · 2068 阅读 · 0 评论 -
Hbase集群client执行报错:Unable to find region for TABLE,,99999999999999 after 10 tries.
Hbase集群client执行报错:Unable to find region for TABLE,,99999999999999 after 10 tries.原创 2015-05-09 22:14:52 · 4218 阅读 · 0 评论 -
Hbase Client Test Case
Hbase Client Test Case原创 2015-04-28 22:15:01 · 1141 阅读 · 0 评论 -
APACHE PIG BATCH MODE初体验
PIG BATCH MODE初体验原创 2015-10-02 23:34:53 · 509 阅读 · 0 评论 -
云计算和大数据入门
云计算入门 美国国家标准与技术研究所 (NIST) 已经通过建立云服务模式和云部署模式进一步定义了什么是云计算。云服务模式 是一些方法,组织可以通过这些方法根据需要使用云计算,这些模式包括基础架构即服务 (IaaS)、平台即服务 (PaaS) 或软件即服务 (SaaS)。请注意,云计算用户使用 IaaS 获得的灵活性最大,使用 SaaS 获得的灵活性最小。但是,IaaS 提供的灵活性原创 2013-09-30 16:36:49 · 1999 阅读 · 0 评论 -
云计算的相关概念
云计算的相关概念-收集于网络原创 2013-11-30 15:57:47 · 1575 阅读 · 0 评论 -
flink
原创 2018-01-23 12:50:36 · 326 阅读 · 0 评论 -
flink sql demo
package flink.demo; import com.alibaba.fastjson.JSONObject; import com.enniu.cloud.services.riskbrain.flink.job.EnniuKafkaSource; import java.util.ArrayList; import java.util.HashMap; import java.uti...原创 2018-07-03 16:37:28 · 4989 阅读 · 2 评论 -
spark 逻辑执行图&物理执行图
1.逻辑执行图 job 会经过哪些transformation 中间会生成哪些rdd rdd之间的依赖关系 narrow dependences :父rdd 中的数据不被拆分 shuffle dependences : 父rdd中的数据被拆分 rdd中的partition个数 一般情况下由父rdd的最大partition个数来决定,部门rdd可以由用户来指定,比如shffledRDD...原创 2019-05-12 14:43:27 · 816 阅读 · 0 评论 -
Hadoop读书笔记(十三)MapReduce中Top算法
MapReduce中Top算法; 利用Hadoop从100w数据中找到最大值问题.原创 2014-12-02 22:39:28 · 1161 阅读 · 0 评论 -
Hadoop读书笔记(八)MapReduce 打成jar包demo
Hadoop读书笔记(八)MapReduce 运行时指定参数; 如何将MapReduce 打成jar包;原创 2014-11-26 21:24:05 · 1544 阅读 · 0 评论 -
Hadoop读书笔记(一)Hadoop介绍
Hadoop读书笔记(一)原创 2014-10-08 20:53:54 · 2098 阅读 · 0 评论 -
Hadoop读书笔记(三)Java API操作HDFS
Hadoop读书笔记(三)Java API操作HDFS 多种方法诠释,注释清晰,史上最全咯!原创 2014-11-19 22:25:25 · 3931 阅读 · 0 评论 -
Hadoop读书笔记(四)HDFS体系结构
Hadoop读书笔记(四)HDFS体系结构。 纯文字性描述,无图无分析,仅作个人初学习记忆和参考原创 2014-11-20 22:23:18 · 1612 阅读 · 0 评论 -
Hadoop读书笔记(九)MapReduce计数器
Hadoop读书笔记(九)MapReduce计数器; MapReduce自定义计数器原创 2014-11-26 22:54:47 · 968 阅读 · 0 评论 -
Hadoop读书笔记(六)MapReduce自定义数据类型demo
Hadoop读书笔记(六)MapReduce自定义数据类型demo原创 2014-11-25 21:20:52 · 2234 阅读 · 0 评论 -
Hadoop读书笔记(十一)MapReduce中的partition分组
实例讲解Hadoop中MapReduce中的partition分组原创 2014-12-01 22:05:37 · 1395 阅读 · 0 评论 -
Hadoop读书笔记(十)MapReduce中的从计数器理解combiner归约
Hadoop读书笔记(十)MapReduce中的combiner编程。 从计数器分析combiner的作用...原创 2014-12-01 21:40:41 · 1391 阅读 · 0 评论 -
Hadoop读书笔记(十二)MapReduce自定义排序
Hadoop读书笔记(十二)MapReduce自定义排序原创 2014-12-02 22:34:38 · 1066 阅读 · 0 评论 -
Hadoop读书笔记(七)MapReduce 0.x版本API使用demo
Hadoop读书笔记(七)MapReduce 0.x版本API使用demo原创 2014-11-25 22:31:39 · 1174 阅读 · 0 评论 -
Hadoop读书笔记(五)MapReduce统计单词demo
Hadoop读书笔记(五)MapReduce统计单词demo原创 2014-11-24 21:33:50 · 2687 阅读 · 0 评论 -
Hadoop读书笔记(十四)MapReduce中TopK算法(Top100算法)
Hadoop1.x中MapReduce中TopK算法(Top100算法)原创 2014-12-11 21:46:00 · 5156 阅读 · 3 评论 -
spark 知识总结xmind
原创 2019-05-12 14:52:04 · 376 阅读 · 0 评论