博客专栏  >  编程语言   >  土肥圆的猿 的博客专栏

土肥圆的猿 的博客专栏

java大数据方向

关注
1 已关注
27篇博文
  • Spark 内核解析图

    Spark 内核调度架构我们要学习的概念,以及下面这些角色在集群中的功能 Application spark-submit Driver SparkContext Master Worker Exec...

    2016-11-29 18:55
    4405
  • Spark RDD 依赖关系

    Spark RDD的依赖关系 RDD之间的依赖关系分为两种,分别是NarrowDependency与ShuffleDependency,其中ShuffleDependency为子RDD的每个Parti...

    2016-11-29 19:23
    4349
  • Spark on Yarn

    Spark ON Yarn深度剖析 我们都知道Spark支持在yarn上运行,但是Spark on yarn有分为两种模式yarn-cluster和yarn-client,它们究竟有什么区别与联系? ...

    2016-11-29 22:58
    4117
  • RDD原理详解

    RDD 原理 在这些特性中,最难实现的是容错性,一般来说,分布式数据集的容错性有两种方式,一般来说,分布式数据集的容错性有两种方式:即数据检查点和记录数据的更新。我们面向的是大规模数据分析,数据检查点...

    2016-11-29 14:01
    4054
  • Hadoop和Spark 基础框架图

    Hadoop的简介Hadoop是适合于海量数据的分布式存储和分布式计算的框架 两大核心: HDFS(Hadoop Distributed File Sytem hadoop分布式文件系统):分...

    2016-10-20 15:11
    4280
  • Hadoop各个核心项目架构

    hdfs 的数据写的过程HDFS2的架构负责对数据的分布式存储,主从结构 主节点——namenode 可以有2个,负责内容: 1)接收用户的请求操作,使用户操作的入口 ...

    2016-10-20 15:19
    4097
  • 分布式存储 与分布式计算

    分布式存储 与分布式计算

    2016-10-20 15:26
    3909
  • 大数据之hadoop【hdfs】

    目录 1、HDFS体系结构 2、HDFS Shell操作 3、HDFS Java API 4、HDFS和RPC 5、HDFS High Availability ...

    2016-10-22 14:39
    4251
  • 大数据之hadoop[zookeeper] javaCRUD

    java crud 操作 package com.uplooking.bigdata.zookeeper;import org.apache.zookeeper.*; import org.apach...

    2016-10-24 20:00
    3780
  • 大数据之hadoop[MapReduce]学习 笔记

    默认block.size=128M 一、MR的执行步骤: 一)、Map 1、block块被InputSplit的实现类切割成一个个的split分片,默认情况下:一个blo...

    2016-10-25 21:17
    3876
  • 大数据之hadoop[序列化与压缩]

    Hadoop的序列化 序列化:数据从内存中的到输出流,比如磁盘,网络,也就是说数据出内存的过程就是序列化的过程。 反序列化:数据从输入流到内存缓冲区,比如从磁盘、网络,也就是说数据...

    2016-10-26 18:31
    3791
  • 大数据之Hive笔记(一)

    笔记 Hadoop 是一个适合于海量数据的分布式存储和分布式计算的框架。 两大核心 HDFS(hadoop distributed file system) ...

    2016-10-31 21:00
    3915
  • 大数据之Hive(笔记二)

    表的分类 内部表(受控表) 表中数据的生命周期受到的表定义的影响,也就是说当表的定义被删除的时候,表中数据随之被删除。 内部表的字段表示:table_ty...

    2016-11-02 20:07
    3886
  • 大数据之Hbase[JavaAPI-CRUD]

    package com.sanmao.hbase;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase...

    2016-11-03 18:58
    4158
  • 消息中间件Kafka

    Kafka简介消息 Message网络中的两台计算机或者两个通讯设备之间传递的数据。例如说:文本、音乐、视频等内容。队列 Queue一种特殊的线性表(数据元素首尾相接),特殊之处在于只允许在首部删除元...

    2016-11-07 17:05
    4043
  • 集群storm启动脚本

    #!/bin/sh echo "#######################" echo "###" echo "## 这是storm的一键启动脚本" echo "##" echo "#######...

    2016-11-13 20:41
    450
  • 关于ElasticSearch集群自动扫描同网段错误

    关于集群搭建 , discovery.zen 代表ES的自动发现节点机制,ES是一个基于p2p的系统,它先通过广播寻找存在的节点,再通过多播协议来进行节点之间的通信,...

    2016-11-14 18:47
    4048
  • Scala快跑系列【面向对象入门】

    Scala中的类在本节中,你将会学习如何用Scala实现类。如果你了解Java中的类,你不会觉得这有多难,并且你会很享受Scala更加精简的表示法带来的便利。 本节的要点包括:1. 类中的字段自动带有...

    2016-11-18 09:27
    3975
  • spark RDD ,wordcount案例解析

    spark RDD ,wordcount案例解析spark RDD 内存计算模型 数据来源:可以从HDFS文件,Hive表,Hbase,本地磁盘,MQ spark集群,RDD中的数据都是存放...

    2016-11-24 19:58
    5194
  • spark-submit

    spark-submitjava程序部署到集群在spark 目录下创建一个脚本 spark-submit.sh/opt/spark/bin/spark-submit \ --class $1 \ --...

    2016-11-24 22:54
    4002

SSH
102865
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部