参数介绍 spark.scheduler.mode spark.streaming.concurrentJobs scheduler线程池 测试用例 Test Case Group 1: FIFO vs. FAIR Test Case 1-1: FIFO Test Case 1-2: FAIR Test Case Group 2: FIFO 1 Slot vs. FIFO 4 Slo...

由于hbase集群部署失败，所以我想测试一下自己的 hadoop 是否安装成功1.  hadoop fs -mkdir /input在HDFS中创建input文件目录 [plain] view plain copy [root@master hadoop]# hadoop fs -mkdir /input  2  hadoop fs -put LICENSE.txt  /input我当前在hado...

  先从Hadoop说起。  经常看到有大咖在语录中提及：有了Spark，就永远不要Hadoop了，真有大咖这么说的，不信百度能看见。  仔细想下，有点道理：如果只是作为业务层面的开发者，对于大数据技术而言，确实只学Spark就可以了，但是如果是系统架构师的话，hadoop还是要学的，因为作为大数据的系统架构师，没办法回避hadoop。Hadoop的三个概念组件，spark在这里主要替代的是Map...

一、简介Ganglia 由 gmond、gmetad 和 gweb 三部分组成gmond（Ganglia Monitoring Daemon）是一种轻量级服务，可以勉强比作传统监控系统中的“代理(agent)”软件。安装在每台需要收集指标数据的节点主机上。gmond 在每台主机上完成实际意义上的指标数据收集工作，并通过侦听/通告协议和集群内其他节点共享数据。使用 gmond，你可以很容易收集很多系...

这篇文章分析的特别好，耐心看下去。。1、MapReduce中数据流动   （1）最简单的过程：  map - reduce   （2）定制了partitioner以将map的结果送往指定reducer的过程：　map - partition - reduce   （3）增加了在本地先进性一次reduce（优化）过程：　map - combin(本地reduce) - partition -redu...

目前，直接暴露在互联网上的开放式容器编排与API管理系统已经超过22600个。最新研究证实，许多组织正在将其工作负载部署至公有云当中，但却没有为其提供充分的安全控制与保护...

导读Kata Containers是现阶段的一个热门项目，大家对它的后续发展颇为关心。最近，OpenStack项目团队负责人（PTL）和核心团队成员聚集在一起，介绍了他们...

查看一下宿主机的分区挂载情况[root@localhost ~]# df Filesystem 1K-blocks Used Available Use% Mounted on /dev/mapper/centos-root 52403200 26388668 26014532 51% / devtmpfs 1923288 ...

一，spark历史    诞生于2009年，加州大学伯克利分校RAD实验室的一个研究项目，最初是基于Hadoop Mapreduce 的，    发现Mapreduce在迭代式计算和交互式上低效，引入了内存存储。    2010年3月份spark开源    2011年AMP实验室在spark上开发高级组件，例如：spark Streaming    2013年转移到了Apache下，不就成了顶级项...

1、准备 系统要求CentOS 7.X 以上版本，内核至少3.10，64-bit 1.1、使用 uname -r 检查 kernel (内核)版本 [root@localhost ~]# uname -r 3.10.0-693.5.2.el7.x86_64 1.2、设置阿里CentOS仓库为了更新插件/软件包时更加流畅 步骤一：执行下面命令下载CentOS-7镜像仓库，以CentOS-...

        在这里分别讲解一下在linux操作系统上基于docker安装的Metabase配置oracle数据库和Windows操作系统直接使用java -jar运行metabase配置oracle数据库。一、linux操作系统上基于docker安装的Metabase，并配置oracle数据库。        1、安装docker，在这里就不做详细讲解了;        2、使用命令“dock...

六月初到六月中旬，一转眼二十天过去了，又开始新的起点大数据1、Hadoop是个什么东东Hadoop是一个 开源的【分布式计算 + 分布式存储平台】，是一个大数据的基础架构，基于此进行开发。2、Haddop能做什么它能搭建大型数据仓库，PB级别数据的存储、处理、分析、统计等业务。主要的使用场景如：搜索引擎数据分析、海量日志分析【一般这个场景多】、商业智能【数据报表的呈现】、数据挖掘【沙子里淘金】 3...

HBase 1、HBase介绍和工作原理　　HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hado...

一、YCSB官网 1）YCSB官网   https://github.com/brianfrankcooper/YCSB2）YCSB测试Redis的官方测试步骤   https://github.com/brianfrankcooper/YCSB/tree/master/redis二、测试环境 虚拟机：VMware操作系统：Ubuntu 16.04硬盘容量：20G内存容量：1G处  理 器：4个J...

windows上安装python  获取安装包：python-2.7.9.amd64.rar解压后全程OK如果遇到安装报错，可在安装过程中先去勾选pip的安装安装完成后，添加环境变量安装setuptoolsSetuptools安装获取安装包：setuptools-26.1.1.zip解压到python的安装目录：在解压后的目录中执行：python setup.py installPip安装依赖se...

一、引言：Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。二、问题：因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop...

转载自：https://www.cnblogs.com/kaituorensheng/p/3826114.html阅读目录1. Python MapReduce 代码2. 在Hadoop上运行python代码3. 利用python的迭代器和生成器优化Mapper 和 Reducer代码4. 参考      尽管Hadoop框架是用java写的，但是Hadoop程序不限于java，可以用python...

1、什么是数据仓库 数据仓库技术是随着人们对大型数据库系统研究的不断深入,在传统数据库技术基础之上发展而来的,其主要目的就是为决策提供支持,为OLAP、数据挖掘深层次的分析提供平台。 数据仓库是一个和实际应用密不可分的研究领域，与传统数据库相比，数据仓库不仅引入了许多新的概念，而且在体系结构、数据组织等方面，均有其自身的特点。 1232、数据仓库要解决的基本问题 全局范...

（1）解决jar包依赖问题，可以使用两种方式1、直接创建maven工程，编写pom文件，添加依赖的jar包声明2、直接下载对应的hbase的linux压缩包，解压后拷贝文件夹lib下的所有jar包注意：    在运行过程中会报错：java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing，因为缺少了hadoop的jar包），可以从解压ha...

        要想学习OpenStack，首先就要弄清OpenStack相关概念，将OpenStack的整体构图，印于脑海之中，本文接续上一篇文章《初识OpenStack（一）》继续讲解OpenStack相关内容，希望本人的一点理解能帮助正在读该文章的你快速了解OpenStack。OpenStack体系结构        ...