doctorq

路漫漫其修远兮

Hbase rowkey hash化

这几天把流式计算系统跑起来了,跑了一天后,负责HBase的同学跟我说我存储的方式有问题,最后问题追踪到了hbase的rowkey问题上,也是很神奇 问题 存储过来的文件都是几十KB一个文件 region split太多,一天后region增加到46个 找问题因为第一次接触spark,第一次接触sc...

2016-09-30 14:43:24

阅读数:4044

评论数:5

kafka安装(单机模式)

开发spark程序需要一套本地的kafka环境

2016-09-24 01:34:54

阅读数:452

评论数:0

HBase安装(伪分布式)

参考文章 Hadoop2.7.2之集群搭建(单机) Hbae安装 Hbase伪分布 版本 hadoop 2.7.3 hbase 1.2.3 下载完解压缩hadoop配置 core-site.xml <configuration> <property&g...

2016-09-24 01:30:20

阅读数:437

评论数:0

Spark on yarn搭建实践

参考文章 Spark on YARN两种运行模式介绍 Yarn源代码分析之旅—总体架构—概述与总体架构

2016-09-08 11:38:54

阅读数:274

评论数:0

spark webui的展示

在standalone模式下,运行一个应用,我们来操作webui查看一些信息 主页主页展示了如下信息 概览 工作中的slave 运行中的应用 已经完成的应用 slave信息点击Workers列表中Worker Id任一条数据应用信息点击Running Applications列表中Applicat...

2016-09-02 23:44:41

阅读数:2847

评论数:0

spark streaming实例编写

运行第一个SparkStreaming程序(及过程中问题解决) Windows下IntelliJ IDEA中调试Spark Standalone sbt-assembly 发布 Scala 项目 使用IDEA开发及测试Spark的环境搭建及简单测试 基于spark运行sc...

2016-09-02 18:31:46

阅读数:1784

评论数:0

spark环境搭建(独立集群模式)

参考文章 Spark Standalone Mode 单机版Spark在Mac上简装笔记[0] 大数据利器:Spark的单机部署与测试笔记 spark 2.0.0下载最新版本2.0.0解压后进入目录解释standalone模式为Master-Worker模式,在本地模拟集群模式启...

2016-09-01 22:49:11

阅读数:2604

评论数:0

提示
确定要删除当前文章?
取消 删除