大JAVA解决方案

数据科学

关于MemStore的刷新方式

  原创 NoSQL 作者:orchidllh 时间:2013-12-05 13:51:46  149507  0 关于MemStore的刷新方式: 1、MemStore达到上限hbase.hregion.memstore.flush.size 默认是128M的时候,会触发MemStore的...

2018-12-28 16:41:55

阅读数 35

评论数 0

linux下使用vim修改jar包或zip包内文件内容

  作者 : darcy   时间 : 2017-01-22   浏览 : 87 介绍一种通过vim命令不解压压缩包直接更改文件内容的方法。 cd到jar包所在目录,运行命令: vim xxx.jar。 此时便可以看到jar包内根目录下的所有文件,移动光标到需要修改的文件敲回车键可以进入vim...

2018-12-28 10:53:30

阅读数 275

评论数 1

Spark(一): 基本架构及原理

  2017年03月08日 11:26:45 风语飘摇 阅读数:99174     Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其...

2018-12-26 17:22:15

阅读数 76

评论数 0

HDFS中的集中化缓存管理

  2016年04月19日 21:30:07 Free World 阅读数:783 概述   HDFS中的集中化缓存管理是一个明确的缓存机制,它允许用户指定要缓存的HDFS路径。NameNode会和保存着所需快数据的所有DataNode通信,并指导他们把块数据缓存在off-heap缓存中。...

2018-12-26 17:00:27

阅读数 80

评论数 0

spark 的各种参数配置

  2018年01月03日 11:19:46 hankl1990 阅读数:1784 https://www.jianshu.com/p/9b243c0a7410       1 spark on yarn常用属性介绍 属性名 默认值 属性说明 spark.yarn...

2018-12-26 16:55:29

阅读数 27

评论数 0

spark运行方式及其常用参数

  2016年09月19日 18:27:47 jiewuyou 阅读数:1224 标签: spark 更多 个人分类: 云计算 所属专栏: spark私房菜 本文将介绍spark的几种运行方式,及常用的参数 yarn cluster模式 例行任务一般会采用这种方式运行 指定固定的ex...

2018-12-26 16:46:48

阅读数 51

评论数 0

spark-shell运行spark任务参数设置

  2016年09月23日 11:02:02 zrc199021 阅读数:12548 之前初学spark用spark-shell执行小程序的时候, 每次执行action操作(比如count,collect或者println),都会报错: WARN TaskSchedulerImpl: In...

2018-12-26 16:27:41

阅读数 124

评论数 0

Spark core优化配置参数

Spark core优化配置参数 2018年06月08日 12:30:27 张行之 阅读数:674  版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_33689414/article/details/80621578 Spark cor...

2018-12-25 15:24:54

阅读数 25

评论数 0

centos6永久修改主机名

centos6永久修改主机名 2017年10月11日 22:16:22 lijie12233 阅读数:8321更多 个人分类: linux vi /etc/sysconfig/network HOSTNAME=localhost.localdomain  #修改localhost.loca...

2018-12-25 11:52:55

阅读数 40

评论数 0

HAProxy安装配置详解

  简介 HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。 HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接...

2018-12-25 09:22:44

阅读数 45

评论数 0

Azkaban 3.0 Documentation

Azkaban Downloads Documentation Contributing License Contact GitHub  Azkaban 3.0 Documentation Overview Getting Started Building from Source ...

2018-12-24 10:10:49

阅读数 595

评论数 0

初识Azkaban

学而不思则罔,思而不学则殆 一个人的奋斗...... CnBlogs Home New Post Contact Admin Rss Posts - 101  Articles - 17  Comments - 10  初识Azkaban 先说下hadoop 内置工作流的不足 ...

2018-12-22 13:38:34

阅读数 95

评论数 0

Azkaban2.5安装部署

Azkaban2.5安装部署(系统时区设置 + 安装和配置mysql + Azkaban Web Server 安装 + Azkaban Executor Server安装 + Azkaban web server插件安装 + Azkaban Executor Server 插件安装)(博主推荐)...

2018-12-22 13:01:06

阅读数 103

评论数 0

大数据学习笔记之azkaban

大数据学习笔记之azkaban 2018年12月09日 15:04:42 HeartisTiger 阅读数:245 版权声明:此博客为学习笔记所用不得转载! https://blog.csdn.net/weixin_43704599/article/details/84928184 Azak...

2018-12-22 10:03:36

阅读数 177

评论数 0

运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) r

运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operat...

2018-12-22 09:46:53

阅读数 99

评论数 0

hadoop三个配置文件的参数含义说明

  2016年06月05日 21:03:07 hallelujahCTX 阅读数:4570 hadoop常用端口配置 1. HDFS端口 参数 描述 默认 配置文件 例子值 ...

2018-12-21 13:41:56

阅读数 70

评论数 0

spark高可用集群搭建及运行测试

  文中的所有操作都是在之前的文章spark集群的搭建基础上建立的,重复操作已经简写; 之前的配置中使用了master01、slave01、slave02、slave03;   本篇文章还要添加master02和CloudDeskTop两个节点,并配置好运行环境;   一、流程: 1...

2018-12-21 13:01:37

阅读数 45

评论数 0

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程 1.选取三台服务器(CentOS系统64位)   114.55.246.88 主节点   114.55.246.77 从节点   114.55.246.93 从节点      之后的操作如果是用普通用户操作的话也必须知道...

2018-12-20 10:47:28

阅读数 99

评论数 1

《从零开始学Storm》试读:在这一章,你将学会如何在Storm拓扑的不同组件之间传输元组,以及如何部署拓扑到一个运行中的Storm集群。

《从零开始学Storm》试读:在这一章,你将学会如何在Storm拓扑的不同组件之间传输元组,以及如何部署拓扑到一个运行中的Storm集群。 3.1 什么是拓扑 要使用Storm做实时计算,首先需要创建所谓的“拓扑(Topology)”。一个拓扑是一个有向图的计算。在一个拓扑中的每个节点包含处理逻...

2018-12-19 17:36:38

阅读数 88

评论数 0

Hadoop添加新的节点

  2012年09月19日 14:56:07 oO寒枫Oo 阅读数:5412 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lxpbs8851/article/details/7996059 1.修改host  1) 新的slave的ip...

2018-12-19 13:40:09

阅读数 56

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭