- 博客(6)
- 资源 (1)
- 收藏
- 关注
转载 flume入门
Flume1.5.0入门:安装、部署、及flume的案例1.什么是flume2.flume的官方网站在哪里?3.flume有哪些术语?4.如何配置flume数据源码? 一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original gene
2017-02-09 10:45:19 580
转载 hadoop3新特性
Apache hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据。其实最大改变的是hdfs,hdfs 通过最近black块计算,根据最近计算原则,本地black块,加入到内存,先计算,通过IO,共享内存计算区域,最后快速形成计算结果。1. Hadoop 3.0简介Hadoop 2.0是基于JDK 1.7开发的
2017-02-07 10:28:59 4095
转载 hadoop3重要新特性——擦除编码解释
新型可扩展的数据保护方式——擦除编码一、概述 在之前存储系统中,一般都采用RAID技术来对数据进行保护,一旦阵列中某块硬盘损坏,可通过RAID技术所形成的镜像来对丢失数据进行恢复。但随着海量数据问题的出现,RAID越来越难发挥其作用。如采用2TB的硬盘作为存储介质,某块硬盘故障,使用镜像对其进行恢复,大概需要4个小时,而这还是将恢复作为最高优先级的情况下才能实现的数据恢复时间。但在实际情
2017-02-07 10:03:37 2258 1
转载 linux内存清理
1.清理前内存使用情况 free -m2.开始清理 echo 1 > /proc/sys/vm/drop_caches3.清理后内存使用情况 free -m4.完成!查看内存条数命令:dmidecode | grep -A16 "Memory Device$" +++++++++++++++
2016-12-02 10:12:27 464
原创 manager大数据架构
越来越火的大数据时代,人工智能开创的时代,如何管理大数据集群成为一个非常重要的问题,现今通用的大数据平台大致的架构我简单说一下,希望对大家有帮助。大数据集群架构大概分为3层1、管理层(也就是所谓的manager界面),这一层主要是对集群服务的管理(比如说hdfs、yarn、hive、spark、hbase、solr、hue、oozie、zookeeper等),在这一层,可以对服务进行配
2016-12-01 14:04:51 536
原创 批量上传非结构化数据到HBase
package com.huawei.hadoop.hbase.example;import java.util.List;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.nio.Byt
2016-11-08 10:03:06 2203
对公数据集市项目培训材料.pdf
2019-11-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人