lixufei12138的博客

数据仓库文章目录数据仓库数据仓库的介绍：数据仓库的概念：OLTP和OLAP区别：数据仓库的特点：面向主题：数据集成：非易失：时变：数据仓库系统架构系统结构图源数据ETL数据仓库与数据集市应用系统用户层纬度分析：维度分析介绍指标和纬度识别维度案例维度分层与分级数仓中的名词解释数仓名词之间关系实体表，事实表，维度表之间的关系指标与标签的区别维度和指标区别与联系自然键与代理键在数仓的使用区别数仓建模数据建模的概念范式建模法（Third Normal Form，3NF）维度建模法（Dimensional Mode

MySQL计算同比和环比今天在做数据建模的时候，ads层的需求中有个叫同比和环比的指标，这两指标的计算之前都没有接触过，经过我两三个小时的研究，终于搞明白什么是同比，什么是环比，如何使用Mysql来计算同比和环比。我们先来看看什么是同比，什么是环比：同比：通常是指今年第n月与去年第n月相比。同比发展速度主要是为了消除季节变动的影响，用以说明本期发展水平与去年同期发展水平对比而达到的相对发展速度。环比：通常是指表示连续2个单位周期（比如连续两月）内的量的变化比。环比包括两种：环比增长速度和环比

分布式文件系统——HDFS文章目录分布式文件系统——HDFSHDFS概述HDFS发展历史HDFS的设计目标HDSF应用场景适合的应用场景不适合的应用场景HDFS架构HDFS的基本原理NameNode概念：作用：DataNodeHDFS的工作机制HDFS写数据流程HDFS读数据流程HDFS 在读取文件的时候，如果其中一个块突然损坏了怎么办HDFS 在上传文件的时候，如果其中一个 DataNode 突然挂掉了怎么办HDFS故障类型和其检测方法HDFS读写故障的处理：DataNode 故障处理HDFS副本机制H

一个优秀的操作系统——LinuxLinux 内核最初只是由芬兰人林纳斯·托瓦兹（Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的。Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 UNIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。Linux 能运行主要的 UNIX 工具软件、应用程序和网络协议。它支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。本文章只

Apache HadoopThe Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of compu

MySql什么是数据库数据库：保存数据的仓库，他在电脑中是一个文件系统，然后把数据都保存在这些特殊的文件中，并且使用固定的语言（SQL语言）去操作文件中的数据。数据库就是按照数据结构来组织，存储和管理数据的建立在计算机存储设备上的仓库。数据库的分类关系型数据库oracle，MySQL，SqlServer，DB2非关系型数据库Redis，Hbase，ElasticSearch ，MongoDBSQL基础知识结构化查询语言(Structured Query Langu

大数据面试准备——java篇java中的数据类型java中的数据 类型分为基本数据类行和引用数据类型基本数据类型有：byte，short，int，long，char，float，double，boolen注意和scala中的数据类型做区别，scala中的数据类型首字母是大写的。引用数据类型有：类，对象，数组等包装类型：Byte，Short，Integer，Long ，Character，Float，Double，Booleanjava中的集合​单列集合：顶层

数据仓库—Hive文章目录数据仓库---Hive一：Hive的基本概念：1.1：Hive简介1.1.1：什么是Hive1.1.2：为什么要使用Hive呢1.1.3：Hive的特点1.2：Hive的架构：1.2.1：Hive的基本组成1.2.2：Hive的元数据1.2.3：HQL的执行流程1.3：Hive的安装：1.3.1：Hive的安装方式：1.3.2：Hive的安装步骤：二：Hive的数据类型：2.1：基本数据类型2.2：Hive中的隐式是数据转换2.3：复杂类型三：Hive的内容格式&Hive

分布式协调服务——zookeeper1 : zookeeper 概述:1.1 : zookeeper简介:zookeeper是一个分布式的, 开源的分布式应用程序协调服务,是对Google的Chubby组件的开源实现,为Hadoop和HBase的运行提供了相应的服务.他是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护(使得集群中的机器可以共享配置信息中的那些公共的部分)；命名服务（是指通过指定的名字来获取资环或者服务的地址，以及提供者的信息，利用zookeeper可以很容易的创建一个

今天打开了前段时间写的个人博客系统，在查询文章内容的时候报了：Packet for query is too large (164,357 > 2,048). You can change this value on the server by setting the ‘max_allowed_packet’ variable.的错误。个人所使用的的数据库是mysql 5.1.36。搭建方式是在腾讯云服务器使用docker构建的。以下就是报错信息：### The error may exist i

关于安装apache-zookeeper-3.5.9.tar.gz时报Error: Could not find or load main class org.apache.zookeeper.server.quorum.的解决方案：在apache官网上下载的apache-zookeeper-3.5.9.tar.gz安装包，上传到服务器后解压，修改完zoo.cof文件，添加了myid文件，在启动的时候，显示启动成功，但是使用jps查看服务的时候，看不到zookeeper的进程，再次启动的时候又能重新启动，

“Unable to load database on disk” 错误的解决办法我的hadoop集群是利用VMware Workstation部署的，今天在启动的时候，发现slave2节点的zookeeper启动出现异常，使用zkServer.sh start 命令启动，显示启动成功，但是使用jps查看进程，发现没有zookeeper的进程QuorumPeerMain。查看日志发现报了如下错误：[hadoop@slave2 ~]$ tail -n 300 zookeeper.out 2021-

解决方法:打开tomcat的lib目录。apache-tomcat-8.5.54\lib的catalina.jar文件。用解压缩工具打开org/apache/catalina/util/ServerInfo.properties将：server.info=Apache Tomcat/8.5.54server.number=8.5.54.0改为：server.info=Apache Tomcat/8.0.0server.number=8.5.54.0即可...

Eclipse调试Java程序警告 ERROR: JDWP Unable to get JNI 1.2 environment, jvm->GetEnv() return code = -2 JDWP exit error AGENT_ERROR_NO_JNI_ENV(183): [util.c:840] 的解决方法：原因：上一次调试的代码有Error，导致进程没有被终止，占用了Console输出。但是呢，这并不影响代码运行。解决方法：1）杀掉所有java进程，一般情况下重启就行了2）在程序

Anaconda使用conda install pymysql命令无法安装pymysql的解决办法最近在学使用pymysql库读取mysql中的数据，但是呢，使用conda install pymysql 命令无法安装pymysql，所以就找到了另外的一种安装方式。我使用的系统是windows10专业版，用的Python版本是Python3.7，使用的Anaconda的版本是Anaconda3...

pandas是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。3.1 pandas数据结构3.1.1：创建Series数据Series数 据结构类似于一维数组，但它是由 一组数据（各种NumPy数据类型）和一组对应的索引组成的。需...

**numpy库是用于科学计算的一个开源的Python扩充程序库，是其他数据分析包的基础包，它为Python提供了高性能的数组与矩阵运算处理能力。**2.1：ndarray多维数组2.1.1：创建ndarray数组通过NumPy库的array函数，即可轻松地创建ndarray数组。NumPy库能将序列数据（列表，元组、数组或其他序列类型）转换为ndarray数组。在使用前需要引入num...

CentOS6.5配置eth0重启报错提示Device eth0 does not seem to be present,delaying initialization的结决方法在搭建Hadooop 完全分布式的时候，从节点一般是从主节点复制过来的，再给从节点配置网络的时候，会出现Device eth0 does not seem to be present,delaying initializ...