大数据
文章平均质量分 81
尔东西南北
梦想从我有自主意识时始,于我垂垂老矣时终!
谁说一个满是浪漫情怀的女子不能搞IT?夜晚我的思绪在浪漫的晚风中飘荡,白天我的十指在ABCD键盘中切换,从对编程一无所知,到了解java,熟悉框架,到现在的大数据,我想做的就一定能做到!我将继续努力,追逐梦想。
展开
-
数仓_维度建模与缓慢变化维
一、维度建模 维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。前面的示例就可以有两个维度:类型和区域。另外每个维度还可以有子维度(称为属性),例如类别可以有子类型,产品名等属性。下面是两个常见的维度表结构:产品维度表:Prod_id, Product_Name, Categ...原创 2020-04-22 21:07:04 · 656 阅读 · 0 评论 -
Ceontos7下安装Flume及问题
Flume是一个强大的采集日志信息的工具,它适用大部分的日志采集场景。它的安装配置也非常简单,下面就一起来看看吧! 一、安装Flume1、Flume的安装非常简单,只需要解压即可,但是必须先配置hadoop环境,关于hadoop的配置这里就不多说了。上传flume的安装包然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz然后进入原创 2018-01-30 22:29:35 · 333 阅读 · 0 评论 -
Azkaban3X的编译安装与使用(确定可用)--提供已经编译好的工具供大家使用
一、Azkaban3X的编译及安装使用(我这里配置的是two servermode模式,exec-server与web-server在不同进程中,在同一台server中)1.先检查下网络是否畅通:ping www.baidu.com 测试一下,mysql是否已经安装好并启动了,并在mysql中为azkaban创建一个数据库,就叫azkaban好了。2.安装git工具 :原创 2018-01-30 23:13:40 · 1026 阅读 · 0 评论 -
使用Eclipse搭建Hadoop编程环境
在前人的基础上,进行总结学习,发现bug,修改bug。系统平台:Ubuntu14.04TLS(64位)Hadoop环境:Hadoop2.7.1Eclipse:Neon.2 Release(4.6.2)Eclipse插件:hadoop-eclipse-plugin-2.7.1.jar一.编译环境搭建1.在eclipse上安装Hadoop插件把下载好的had转载 2018-02-01 21:08:07 · 528 阅读 · 0 评论 -
单机版Hbase的安装与使用
当你需要随机,实时读取大型数据的时候,用HBASE.这个项目的目的就在于处理超大量的表格:它能建立在普通硬件集群上读取十亿行甚至更多行的数据。这是以谷歌的Bigtable为原型的一个开源、有版本、非关系型的数据库,正如Bigtable利用了谷歌文件系统提供的分布式数据存储一样,Hbase也同样是建立在hadoop和hdfs之上才可用。下载地址:http://www.apache.org/dyn原创 2018-02-07 12:31:49 · 832 阅读 · 1 评论 -
Yarn各组件详细原理
运行在独立的节点上的ResourceManager和NodeManager一起组成了yarn的核心,构建了整个平台。ApplicationMaster和相应的container一起组成了一个Yarn的应用系统。 ResourceManager提供应用程序的调度,每个应用程序由一个ApplicationMaster管理,以Container的形式请求每个任务的计算资源。Container由Res...转载 2018-03-07 21:41:20 · 1143 阅读 · 0 评论 -
消息队列的使用场景
一、消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等。二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削...转载 2018-03-02 08:40:41 · 137 阅读 · 0 评论