大数据BI
文章平均质量分 73
使不得呀
这个作者很懒,什么都没留下…
展开
-
国产化Kettle、JDK、MySQL下载安装操作步骤
Kettle、JDK、MySQL下载安装操作步骤原创 2022-11-25 20:59:37 · 9224 阅读 · 3 评论 -
传统的(Oracle)行存储和(HBase)列存储的区别
列存储不同于传统的关系型数据库,其数据在表中是按行存储的,列方式所带来的重要好处之一就是,由于查询中的选择规则是通过列来定义的,因此整个数据库是自动索引化的。按列存储每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能大大减少读取的数据量,一个字段的数据聚集存储,那就更容易为这种聚集存储设计更好的压缩/解压算法。传统的(Oracle)行存储和(HBase)列存储的区别 1、数据是按原创 2016-08-29 17:13:32 · 8615 阅读 · 0 评论 -
hdfs:Hadoop分布式文件系统
1、hdfs:Hadoop分布式文件系统 HDFS是一个高度容错性的系统,适合部署在廉价的机器上。 HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。 HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。 HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。 HDFS是Apache Hadoop Core项目的一部分。原创 2016-08-26 08:23:23 · 600 阅读 · 0 评论 -
linux软件包管理--yum源码包
1、优缺点: 优点:开源、自由选择所需的功能、编译安装, 稳定性好、效率高,卸载方便 缺点:安装步骤多,时间长 几个G安装要3天,报错新手很难解决2、yum命令 查看 yum list 查看所有可用软件包列表 yum search 关键字 安装 yum -y install 包名 -y:自动回答yes 升级 yum -y update 包名 删除 yum原创 2016-08-27 21:42:52 · 751 阅读 · 0 评论 -
linux软件包管理--RPM包 【二进制包】
1、最大特点 存在依赖性:安装A程序,必须先安装B程序2、常用命令 安装 rpm -ivh 包名 -i 安装 vh:显示安装进度 升级 rpm -Uvh 卸载 rpm -e 查询是否安装 rpm -q 包名 rpm -qa 查询所有的包原创 2016-08-27 21:51:24 · 462 阅读 · 0 评论 -
HBase中的表一般特点
1、大:一个表可以有上亿行,上百万列;2、面向列:面向列(族)的存储和权限控制,列(族)独立检索;3、稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计得非常稀疏;原创 2016-08-29 17:02:24 · 1800 阅读 · 0 评论 -
D3.js 学习笔记
路人甲:额,我需要学那么多才能开始学 D3 吗?心理压力有点点…大馒头:不必,完全可以直接看“D3.js 学习笔记”学 D3,遇到不明白的地方,再看相关内容即可路人乙:HTML、CSS 啥的,我从来都没用过,也没有关系吗?馒头:只要在 W3School ,分别看看这几个词是什么意思,是用来干什么的,再看几个简单例子即可,没有必要全掌握了再学习 D3。原创 2016-08-22 12:50:35 · 12860 阅读 · 2 评论 -
JSON学习
JSON 语法是 JavaScript 语法的子集。JSON 语法规则JSON 语法是 JavaScript 对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JSON 名称/值对JSON 数据的书写格式是:名称/值对。名称/值对包括字段名称(在双引号中),后面写一个冒号,然后是值:"firstName" : "Joh原创 2016-08-19 08:04:57 · 397 阅读 · 0 评论 -
使用transformer建立方体,点击Run AutoDesign出现错误的原因和最好最快解决办法
使用transformer建立方体,点击Run AutoDesign出现错误的原因和最好最快解决办法一、点击Run AutoDesign出现错误的原因是transformer连接数据源出错。二、最好最快解决办法:需要在cognos.ini中加入连接数据源设置 1、在用transformer建立项目之前,需要插入iqd数据源,为了能够让Transformer找到IQD文件连接的数据源,必原创 2016-08-06 14:06:16 · 506 阅读 · 0 评论 -
数据处理可视化技术D3.JS--JavaScript常识
一、js与其他语言的区别 js语言与C语言相似,区分大小写的。 1、D3.js:在浏览器解析的,属于前端技术 js:动作 —–》 congular.js html:内容 —–》 框架: nodel.js css: 样式 —–》 react.js技术 html:hyper text marku原创 2016-08-25 08:21:00 · 612 阅读 · 0 评论 -
结构化数据与非结构化数据
一、结构化数据结构化数据即行数据,存储在数据库里的,可以用二维表结构来逻辑表达实现的数据。二、非结构化数据相对于结构化数据而言的,不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。 三、现实信息分类在信息社会,信息可以划分为两大类。一类信息能够用数据或统一的结构加以表示,我们称之为结构原创 2016-08-10 19:48:13 · 1850 阅读 · 0 评论 -
你不知道的Kettle学习笔记3--Kettle资源库
一、Kettle资源库概述1、kettle资源库保存的是Kettle元数据。 2、资源库包括文件资源库、数据库资源库。在服务端新建资源库,只能使用数据库资源库。 3、不使用资源库:直接保存为ktr或kjb文件。二、如何选择资源库(一)数据库资源库的缺点1、不能存储转换或作业的多个版本。 2、严重依赖于数据库的锁机制来防止工作丢失。 3、 没有考虑到团队开发,开发人员不能锁住自己开发的某个作业原创 2016-09-26 08:14:35 · 3017 阅读 · 0 评论 -
你不知道的Kettle学习笔记4--Kettle运行方式
kettle运行方式–图形、命令行、API一、图形界面:Spoon1、本地:在本地执行 2、远程:在远程服务器执行,需要远程服务器执行 Carte 。 3、Carte:是内嵌 Jetty 的 http server。 4、Carte执行命令 carte localhost 8080 集群:在集群上执行,需要转换里的某个步骤事先设置为集群方式运行。 二、命令行:Pan1、/rep:资源库名称原创 2016-09-26 08:17:03 · 3050 阅读 · 0 评论 -
你不知道的Kettle学习笔记5--日志
一、日志描述在你每一次运行一个任务或者转换时,日志视图会自动打开。它表示在转换或者任务运行的时候,发生了什么。二、日志级别1、Error:只记录错误信息。 2、Nothing:不记录任何信息,执行效率最高。 3、Minimal:记录最少的信息。 4、Basic:记录基本信息。 5、Detailed:记录详细信息。 6、Debug:记录调试信息。 7、Rowlevel:转换过程中的每一行都原创 2016-09-26 08:24:19 · 7125 阅读 · 1 评论 -
你不知道的Kettle学习笔记2--kettle的常用操作
(一)转换和作业 kettle的Spoon设计器用来设计转换(Transformation)和作业(Job)。 (1)转换 转换主要是针对数据的各种处理,一个转换里可以包含多个步骤(Step)。(2)作业 作业是比转换更高一级的处理流程,一个作业里包括多个作业项(Job Entry),一个作业项代表了一 项工作,转换也是一个作业项。(二)保存作业 用户通过Spoon创建的转换、作原创 2016-09-22 13:55:48 · 15727 阅读 · 0 评论 -
你不知道的Kettle学习笔记1--Kettle详解
一、Kettle * Kettle是一款国外开源(免费:受欢迎)的ETL工具, * 纯Java编写(Java开发很好的集成),可以在windows、Linux、Unix上运行(Linux服务器流行时代下,Kettle更加受欢迎), * 数据抽取高效稳定(更更加受欢迎)。 Kettle中文名俗称“水壶”,开发目的是将各种数据放到一个水壶中,然后经过各种处理加工,以特定的格式流出。二、Ke原创 2016-09-22 13:35:45 · 17373 阅读 · 0 评论 -
Hadoop的MapReduce分布式计算
MapRedunce(MR)是一个简化并行编程模型,用以进行大数据量的计算。 对于MapReduce,可以简洁地认为,它是一个软件框架,海量数据是它的“菜”,它在大规模集群上以一种可靠且容错的方式并行地“烹饪这道菜”。原创 2016-08-25 19:27:19 · 963 阅读 · 0 评论