- 博客(22)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
原创 数据仓库分层架构
数据仓库分层设计按照数据流入流出的过程,数据仓库架构可分为三层——源数据、数据仓库、数据应用。数据仓库的数据来源于不同的源数据,并提供多样的数据应用,数据自下而上流入数据仓库后向上层开放应用,而数据仓库只是中间集成化数据管理的一个平台。源数据层(ODS):此层数据无任何更改,直接沿用外围系统数据结构和数据,不对外开放;为临时存储层,是接口数据的临时存储区域,为后一步的数据处理做准备。数据仓库层(DW):也称为细节层,DW层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂
2022-04-22 11:26:27
1349
原创 什么是数据仓库?
什么是数据仓库?数据仓库,英文名称Data Warehouse,简写为DW。数据仓库顾名思义,是一个很大的数据存储集合。数据仓库的输入方是各种各样的数据源,最终的输出用于企业的数据分析、数据挖掘、数据报表等方向。数据仓库有哪些特点呢?1.主题性不同于传统数据库对应于某一个或多个项目,数据仓库根据使用者实际需求,将不同数据源的数据在一个较高的抽象层次上做整合,所有数据都围绕某一主题来组织。2.集成性数据仓库中存储的数据是来源于多个数据源的集成,原始数据来自不同的数据源,存储方式各不相同。要整合
2022-04-22 10:13:35
356
原创 Kubernetes 简介
1. Kubernetes 来源和介绍kubernetes,简称K8s,一个开源的,用于管理云平台中多个主机上的容器化的应用。Kubernetes 的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes 提供了应用部署,规划,更新,维护的一种机制。传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配置、管理、所有生存周期将与当前操作系统绑定,这样做并不利于应用的升级更新/回滚等操作,当然也可以通过创建虚拟机的方式来实现某些功能,但是虚拟机非常重,并不利于可
2022-04-21 18:58:06
139
原创 学会这几个插件,让你的Notepad++使用起来更丝滑
搞程序开发的小伙伴相信对Notepad++都不会陌生,是一个占用空间少、打开启动快的文件编辑器,很多程序员喜欢使用Notepad++进行纯文本编辑或者脚本开发,但是Notepad++的功能绝不止于此,下面我们就来讲讲如何使用Nopad++配合插件来提高工作效率。1、 Compare这是一个差异对比插件,有个小伙伴会说和BCompare有什么区别?区别是这个插件不仅支持文件间的差异对比,还支持git管控下的同一个文件不同提交记录下的差异对比。作为一个插件,Compare即开即用,用完就走,比BCo..
2021-05-16 16:15:31
944
原创 小白入门大数据,这一篇就够了
大数据、人工智能( Artificial Intelligence )像当年的石油、电力一样, 正以前所未有的广度和深度影响所有的行业, 现在及未来公司的核心壁垒是数据, 核心竞争力来自基于大数据的人工智能的竞争。所以不论是计算机专业的程序员,还是非计算机专业准备转行计算机的跨行人员都想学习大数据,从事大数据开发工作。但是当你站在一个行业门外的时候,你更多的是看到他的价值和前景,这会促使你义无反顾地往里冲。但当你想要跨越这道门槛入门的时候,你开始考虑技术层面的困难,什么困难呢?那就是我对这个...
2021-05-14 20:09:39
284
1
原创 大数据集群部署及环境初始化
怎样在PC上部署一台自己的大数据集群想要学习大数据,首先要有一个可以供自己折腾的集群环境,最好还可以定时快照,以防集群玩崩溃后又要含着泪从头部署~那么大数据初始化集群需要配置些什么,以及怎样低成本搞一套入门集群呢?一台笔记本或台式机,就可以搞定,下面让我们仔细说说实现过程大数据初始化集群设置:1、创建虚拟机我们需要在VMware上创建3台CentOS系统的虚拟机2、Linux环境设置2.1、由于是内网环境 安全性比较高, 防火墙开启会影响效率, 所以关闭防火墙。2.2、关闭SElinux安
2021-05-06 19:15:43
168
原创 SVN Adapter V1.0感叹号,华为SVN连接超时
SVN Adapter V1.0感叹号问题描述解决方案问题描述USG6600(V5R1C30) secoclient(3.0.3)在win7/8拨号正常,win10操作系统无法拨号成功,提示接收返回码超时问题解决方案解决方案进入Device Manager ->Network adapters 找到SVN Adapter V1.0 ,右键选择Disable。进入C:\Windows\System32\drivers 找到SVNDrv.sys 文件并删除,删除后复制新的SVNDrv
2021-04-20 19:20:38
12901
3
原创 ubuntu制作本地源
以下以R程序安装为例获取待安装程序包及依赖包#下载r-base包及依赖包apt-get -d install r-base#下载r-dev包及依赖包apt-get -d install r-base-dev#模拟安装软件(仅作测试用,无报错即可)apt-get install -s r-baseapt-get install -s r-base-dev制作本地源#在根目录创建新目录(新目录名、位置可以自定义)cd /mkdir packs#将apt cache中的所有.deb包拷
2020-11-25 16:34:09
380
原创 Hive的级联之自join累加求和问题、sum() over累加求和问题
–建表create table t_salary_detail(username string,month string,salary int)row format delimited fields terminated by ‘,’;–从linux服务器加载数据load data local inpath ‘/root/hivedata/t_salary_detail.dat’ into...
2019-12-05 21:18:21
1095
原创 Mysql DDL、DML、DCL、DQL、增删改查基本语句
个人博客: jin522.github.ioDDL 数据定义语言 - Data Definition LanguageDML 数据处理语言 - Data Manipulation Language – 增删改DCL 数据控制语言 – Data Control LanguageDQL 数据查询语言 – Data Query Language - 查询--------数据库操作语句----...
2019-12-04 15:31:51
205
原创 json语句转换为sql写入数据库操作
个人博客: jin522.github.io–待操作语句[{"website":"www.baidu.cn","name":"tomjerry"},{"website":"cloud.baidu.com","name":"carbondata 中文文档"}]–完整hql表达式select json_tuple(baidu.json, 'website', 'name') from (S...
2019-12-03 23:06:31
2046
原创 MySql干净卸载
个人博客: jin522.github.io1、先用yum删除(先确定是否通过yum安装)yum -y remove mysql2、查询mysql安装包rpm -qa | grep -i mysql3、逐一卸载安装包rpm -e **** --nodeps4、查询卸载后残留目录find / -name mysql5、删除查询出的文件夹rm -rf *****6、删...
2019-12-03 22:56:36
113
原创 Reduce中Iterable迭代器K,V对象复用机制
Hadoop|Reduce中Iterable迭代器K,V对象复用机制github:https://jin522.github.io/个人博客:www.jin522.topcreate: 2019-12-1update:2019-12-1apache官网对于reduce中k,v复用的描述如下:The framework calls this method for each <k...
2019-12-02 22:35:32
708
原创 MySql外键约束
MySQL外键约束学习简记增加外键约束使用默认名alter table 表名 add foreign key( 当前表中的列名 ) references 被引用表名(被引用表的列名);自定义命名alter table 表名 add constraint 外键名字 foreign key( 当前表中的列名 ) references 被引用表名(被引用表的列名);删除外键约束alt...
2019-10-27 16:30:50
234
secoclient最新驱动补丁SVNDrv.zip
2021-05-14
怎么上传图片到githubusercontent.com域名下的服务器
2022-03-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人