安装hbase的条件： Hadoop zookeeper 开始安装： 上传、解压： 删除压缩包： 删除hbase下的docs文件 因为docs’文件中，都是html无用的文件，会严重影响传输效率 —-如果不是apache下的产品，建议不删除 配置环境变量： 打开官网：开始配置hbase的配置文件： 说明： hbase.rootdir：hbase的数据，...

平台现状 下面是目前饿了么平台现状架构图： 来源于多个数据源的数据写到kafka里，计算引擎主要是Storm,Spark和Flink，计算引擎出来的结果数据再落地到各种存储上。 目前Storm任务大概有100多个，Spark任务有50个左右，Flink暂时还比较少。 目前我们集群规模每天数据量有60TB，计算次数有1000000000，节点有400个。这里要提一下，Spark和Flin...

本节我们将安装和部署 Helm 客户端和 Tiller 服务器。 Helm 客户端 通常，我们将 Helm 客户端安装在能够执行 kubectl 命令的节点上，只需要下面一条命令： curl https://raw.githubusercontent.com/kubernetes/helm/master/scripts/get | bash 执行 helm version 验证。 ...

HAWQ使用动态分配的虚拟段为查询执行提供资源。 在HAWQ 1.x，用于运行查询的segments(计算资源载体)是固定的，不管底层查询是需要很多资源的大查询还是需要很少资源的小查询。这个架构很简单，然而它使用资源的效率很低。 为了解决这个问题，HAWQ现在使用运行时执行弹性查询特性，它基于虚拟段。HAWQ根据查询的成本需求分配虚拟段。换句话说，对于大型查询，HAWQ启动了大量的虚拟段，而对...

一、安装Docker（MacOS） 使用 Homebrew 安装 $ brew cask install docker 手动下载安装 如果需要手动下载，请点击以下链接下载 Stable 或 Edge 版本的 Docker for Mac。 二、运行Docker 从应用中找到 Docker 图标并点击运行。 启动终端后，通过命令可以检查安装后的 Docker 版本。 $ do...

我们有一张表： val df = spark.createDataset(Seq( (1, "a", 66), (2, "a", 22), (3, "a", 11), (4, "b", 22), (5, "b&quo

Hive的自定义的函数的步骤： 1、创建自定义函数类继承 org.apache.hadoop.hive.ql.exec.UDF类 2、实现evaluate函数 3、把程序打包放到目标节点上去 先从eclipse导出jar包 上传到集群目标节点lib库 [root@master ~]# cd /opt/app/Hive/hive-2.3.3/ [root@master hi...

一、问题描述 flask-migrate插件是对Alembic的简单封装，当程序使用SQLite数据库作为backend的时候，使用 flask migrate命令生成自动迁移脚本，使用flask upgrade命令进行数据库更新，会出现以下问题： 1、op.alter_column、op.alter_table会报错，因为SQlite不支持替换alter column等操作。 2、对于co...

问题描述： kudu运行一段时间后不能插入、查询数据。 错误日志： 2018-08-08 23:59:59 [New I/O worker #7:700902892]-[ERROR] [Peer master-cloudera13:7051] Unexpected exception from downstream on [id: 0xf901b78a, /10.66.179.216:607...

前言 本系列文章旨在帮助对kubernetes没有什么搭建经验搬砖友人，有什么问题大家可以一起交流（文章最下有论坛地址，有疑问也可在论坛留言）。   一，kubernetes的安装方式 网上的安装方式大体分为两种：1，二进制包，源码安装；2，使用kubeadm方式进行安装； 我建议大家使用kubeadm的方式进行安装，为什么？ 你既然来看我这篇文章，且读了前言还看到了这里，自然是对ku...

一：数据倾斜 Map数             1）通常情况下，作业会通过input的目录产生一个或者多个map任务。             主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小。             2）是不是map数越多越好？             答案是否定的。如果一个任务有很多小文件（远远小于块大小128m），则每个小文件也会被当做...

云计算： 云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本...

4.1RDD的算子分类         Transformation（转换）：根据数据集创建一个新的数据集，计算后返回一个新RDD；例如：一个rdd进行map操作后生了一个新的rdd。 Action（动作）：对rdd结果计算后返回一个数值value给驱动程序； 例如：collect算子将数据集的所有元素收集完成返回给驱动程序。 4.2Transformation RDD中的所有转换都是延...

原文链接 摘要： 鉴于上次一篇文章——“云HBase小组成功抢救某公司自建HBase集群，挽救30+T数据”的读者反馈，对HBase的逆向工程比较感兴趣，并咨询如何使用相应工具进行运维等等。总的来说，就是想更深层理解HBase运维原理，提高运维HBase生产环境的能力，应对各种常见异常现象。 背景     鉴于上次一篇文章——“云HBase小组成功抢救某公司自建HBase集群，挽救30+T数...

阅读本文大概需要 3 分钟 airflow 是 apache下孵化项目，是纯 Python 编写的一款非常优雅的开源调度平台。github 上有 8971 个星，是非常受欢迎的调度工具。airflow 使用 DAG (有向无环图) 来定义工作流，配置作业依赖关系非常方便，豪不夸张地说：方便程度简直甩其他任务调度工具一条街。 airflow 有着以下天然优势： 1. 灵活易用，airf...

安装步骤： 提供的安装包：链接：https://pan.baidu.com/s/1xPK1abPn-qy-_jeLuBYZIw 密码：365v （链接失效请及时告知） 第一步： 安装jdk（省略，我给大家提供的镜像已经配置好了jdk，启动镜像直接在目录里找到xxx.vmx,双击就可以在虚拟机上打开了） 第二步： 把 zookeeper 的压缩包（zookeeper-3.4.6.tar....

如何使用Docker部署一个web项目并打包成镜像文件 1.创建一个centos镜像 通过命令下载dockerhub上的官方镜像 docker pull centos 2.创建一个基于centos镜像的容器 通过命令docker images查看服务器上已有的镜像  通过命令 docker run -dit -p 4000:8080 centos镜像名或id  创建一个基于centos镜像...

关于R语言的优劣势详细了解： 大数据之R语言速成与实战 为什么选择R？ 丰富的资源：涵盖了多种行业数据分析中几乎所有的方法。 良好的扩展性：十分方便得编写函数和程序包，跨平台，可以胜任复杂的数据分析、绘制精美的图形。 完备的帮助系统：每个函数都有统一格式的帮助，运行实例。 GNU软件：免费、软件本身及程序包的源代码公开。 R与其他统计软件比较 SAS: 速度快，有大量统计分析模块，可扩展性稍...

       这两天在看celery怎样在django上搭建，网上各种各样的教程看了不少，有的很详细，有的根本就用不上，这里说下我的配置，也是从网上东拉西找配好的，还没有弄很明白，但是可以运行，菜鸡，请勿嘲笑。        这里就不说celery运行原理什么的，网上也挺多的，个人觉得既然都找用法了，怎么运行的应该差不多清楚了，直接上配置吧。  先说下我遇到的问题吧，很容易忽略的问题： 1，...