m0_49140390的博客

也挺离谱的，今早上班刚打开谷歌浏览器，首页快捷方式就变成一排了，对于而且快捷方式还不能拖拽自定义排序，这使得我这位用习惯6年的双排老用户完全不能忍，打工人上班的怨气更重了。经过几番周折中关于找到如下解决方案：首先在浏览器网址地方输入：chrome://flags/或chrome://flags/进入到实验性菜单，如下图接着找到NTP Modules Redesignes，关闭这个选项即可，首页即可恢复为正常。

这里说人话就是在数仓dwd层级和dws层级时用来划分业务过程的，在实际开发中，我们经常是通过业务过程来构建事实表，一般来说是一个业务过程一张事实表，但是随着业务过程增多，不同业务线中相同业务过程也会慢慢出现，这就会导致一个业务过程会存在两张完全不同的事实表，所以这里同样需要将业务过程按照某种规则来进行统一区分。一般来说按照后端的项目/产品的业务系统来进行划分，因为数据同学本身并不是数据的创造者，而是数据的搬运工，比较依赖上游的数据。

一、java api操作HBase的1.创建maven项目并添加依赖<dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-client</artifactId><version>1.2.0</version></dependency><!-- https://mvnrepository.c...

一、HBase概述1.定义：HBase是一个领先的NoSQL数据库：是一个面向列存储的数据库，一个分布式hash map基于Google Big Table论文,使用HDFS作为存储并利用其可靠性2.HBase特点数据访问速度快，响应时间约2-20毫秒支持随机读写，每个节点20k~100k+ ops/s可扩展性，可扩展到20,000+节点3.发展历史 时间 事件 2006年 Google发表了关于Big..

1.含义（1）NoSQL:not only SQL,非关系型数据库（2）NoSQL是一个通用术语 指不遵循传统RDBMS模型的数据库 数据是非关系的，且不使用SQL作为主要查询语言 解决数据库的可伸缩性和可用性问题 不针对原子性或一致性问题2.NoSQL优点 高并发读写，高存储量，高可用性，高扩展性，低成本3.NoSQL和关系型数据库对比 对比 NoSQL 关系型数据库 ...

一、EXPLAIN（执行计划）基本语法EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query示例演示：（1）查看下面这条语句的执行计划hive (default)> explain select * from emp;hive (default)> explain select deptno, avg(sal) avg_sal from emp group bydeptno;（2）查看详细执行计划hiv

一、hive函数的使用1.hive函数分类（1）从输入输出角度分类标准函数：一行数据中的一列或多列为输入，结果为单一值聚合函数：多行的零列到多列为输入，结果为单一值表生成函数：零个或多个输入，结果为多列或多行（2）从实现方式分类内置函数：输入 show functions展现内置函数desc function extended 函数名:可详细展示函数的源码 标准函数：字符函数、类型转换函数、数学函数、日期函数、集合函数、条件函数 聚合函数 表生...

1.解压将工具解压到opt目录下tar -zxvf zeppelin-0.8.1-bin-all.tgz -C /opt2.将解压后的zepplin改名mv zeppelin-0.8.1-bin-all/ zpln3.修改zepplin配置文件（1）进入zpln的conf目录下cd /opt/zpln/conf（2）修改xml文件mv zeppelin-site.xml.template zeppelin-site.xmlvi zeppelin-site.xml修

1.简介 窗口函数又名开窗函数，属于分析函数的一种，用于解决复杂报表统计需求的功能强大的函数。窗口函数用来计算基于组的某种聚合值，它和聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。 开窗函数指定了分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化。 2.准备数据saml,2018-01-01,10tony,2018-01-02,15saml,2018-02-03,23tony,2018-01-04,29saml,20.

一、hive基础命令前提：SELECT用于映射符合指定查询条件的行 Hive SELECT是数据库标准SQL的子集1.hive建表高阶语句：(1)CTAS-->AS SELECT建表create table ctas_employee as select * from employee;CTAS不能创建partition,external,bucket（2）CTE建表注这里连接的r1和r3查询的字段要相同create table cte...

目录一、hive1.定义2.历史和版本：3.Hive的优势和特点4.Hive元数据管理5.Hive体系架构6.命令窗口模式7.进入交互模式二、hive命令1.创建数据库2.删除数据库2.加载文件（对所有表通用）3.库级操作4.表级操作(1)建表步骤：（2）创建带有分区的表（3）创建外表（4）创建表并分桶(2).查询:1.查看表2.查看表结构3.查看表中具体内容​三、补充：一、hive1.定义基于Ha.

目录一、yarn基本结构1.YARN(Yet Another Resource Negotiator)核心思想：是将资源管理和任务的监控和调度分离2.YARN的基本架构核心组件三、YARN的工作机制四、yarn应用五.补充：六、Zookeeper1.简介：2.Zookeeper数据结构3.ZooKeeper客户端命令4.Zookeeper角色5.ZooKeeper选举机制6.总结：一、yarn基本结构1.YARN(Yet Another Resou

目录一、HBASE安装和运行1.先将hbase解压2.进入conf目录分别修改两个文件3.最后配置环境变量4.先打开hadoop二、HIVE安装和运行1.解压2.在hive目录下建起一个目录3.配置环境变量4.修改和新建hive文件(1)cd hive/conf(2)增加三条路径：(3)vi hive-site.xml5.将hive的lib目录下6.在mysql里面创建一个hive数据库，退出后，初始化:7.运行hive：hive一、HBA

目录1.MapReduce实现WordCount2.MapReduce原理概览：3.MAP端join4.reduce端jion5.补充:前景提要：打开idea，选择maven，搜索quickmaven内容：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001.

一、Hadoop概述1.大数据的定义：大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。2.大数据特征：4V特征：（1）Volume(大数据量)：90% 的数据是过去两年产生（2）Velocity(速度快)：数据增长速度快，时效性高（3）Variety(多样化)：数据种类和来源多样化 1`结构化数据、半结构化数据、非结构化数据（4）Value(价值密度低)：需挖掘获取数据价值固有特征：时效性、不可变性4.新老分布式计算比...

一、配置集群的时间同步：1.三台虚拟机同时安装ntp可以先查询是否安装ntprpm -qa | grep ntp若存在则： yum -y remove 文件名yum install -y ntp2.vi /etc/ntp.conf(三台虚拟机都需)添加内容restrict 当前ip地址 nomodify notrap nopeer noquery修改内容：restrict 192.168.183.1 mask 255.255.255.0 nomodify notrap

1.克隆主机生成两个虚拟机2.分别给两个虚拟机改名hostnamectl set-hostname hadoop002hostnamectl set-hostname hadoop0033.三台机器互相添加互信主机：cat .ssh/id_rsa.pub > .ssh/authorized_keysssh-copy-id -i .ssh/id_rsa.pub -p22 root@hadoop002ssh-copy-id -i .ssh/id_rsa.pub -p22 r

脚本编程Bash Shell1.每一个shell要有头的定义，正常的是#!/bin/bash2.打印：echo '要打印的东西'3.三种调用方式:定义好的脚本需要加权限 ： chmod +x 脚本路径（1）路径调用：如果在当前目录，则使用./test.sh否则：绝对路径/test.sh（2）普通脚本执行：sh 脚本路径（3）指定/bin/bash shell 执行：/bin/bash test.sh注意：./test.sh 相当于 /bin/...

一、目录命令1.增加目录(1).mkdir /路径/目录名：mkdir test:创建test文件目录mkdir /usr/local/test:绝对路径下创建test(2).递归创建目录： mkdir -p test/java/javaEE2.删除目录 Rmdir /路径/目录名3.改变目录(1).复制：cp 原路径 新路径(2).cp -rf /usr/local/test /usr/local/test1:将test文件复制到test1文件中 当目录...

1.JDBC访问数据库步骤public class BaseDao{public connection getConnection(){//加载驱动：Class.forName("com.mysql.jdbc.Driver");String url="jdbc:mysql:192.168l.183.31/数据库名;//驱动管理获取连接Connection connection=DriverManager.getConnection(url,"用户名","密码");retu