- 博客(205)
- 收藏
- 关注
RSS订阅转载 Centos 7.6 下载 、安装 与基本配置
Centos 7.6 基本配置1、内核版本和发行版本的下载地址内核版本下载地址：https：//www.kernel.org/Centos 下载地址： https：//www.centos.org/download/2、进入后任意选择一个打开3、选择 7.6.1810/ 在选 isos/ 然后选X86_64为 最后选择要下载的两款镜像1 CentOS-7-x86_64-DVD-1810.iso 标准版（一般就下载这一个就够用啦）2 CentOS-...
2022-02-20 14:50:53
8083
转载 微服务六大设计原则
什么是单体应用？如图所示，这个系统采用了三层架构，表现层，业务逻辑层，数据访问层，虽然三层架构解决了应用程序中代码间调用复杂，代码职责不清的问题。但是他只是将应用在逻辑上分成了三层，并不是物理上的分层，通过编译，打包，部署后，最终还是在同一台机器的同一个进程中运行， 这种功能集中，代码中心化，一个发布包，部署后运行在同一个进程的应用程序，我们通常称之为单体架构应用。单体应用的优点？易于开发 易于测试 易于部署单体应用的弊端？维护成本高 - 随着业务的不断扩大，需求的持续..
2021-03-04 13:51:50
1275
1
转载 kettle中json input中数据的解析
一、对于json数据的解析简介JSONPath - 是xpath在json的应用。 类似于XPath在xml文档中的定位，JsonPath表达式通常是用来路径检索或设置Json的。其表达式可以接受“dot–notation”和“bracket–notation”格式，例如$.store.book[0].title、$[‘store’][‘book’][0][‘title’]JSONPath 表达式JSONPaht 用一个抽象的名字$来表示最外层对象。 使用.符号：$...
2021-02-26 11:51:16
1104
转载 彻底解决unable to find valid certification path to requested target
安装证书。下载证书第一步是要下载证书去你程序要访问的网站，点击那个锁按钮，并点击查看详情（chrome浏览器）点击View certificate点击详细信息复制到文件下一步选择格式生成的名称，最后保存这里我保存在的D盘根目录下叫abc.cer导入证书切换到jre的/lib/security/下执行如下命令keytool -import -alias abc -keystore cacerts -file D://
2020-09-11 17:57:20
471
原创 IIS无法访问WCF服务.svc请求的解决办法
今天访问IIS上的wcf服务.svc请求时，发现报404错误，如下图所示：解决办法：在启用或关闭Windows功能中，选中.NET Framework x.x高级服务->WCF服务->HTTP激活，单击确定即可。
2020-06-28 14:25:12
2563
转载 SQL Server 动态行转列（参数化表名、分组列、行转列字段、字段值）
一.本文所涉及的内容（Contents）本文所涉及的内容（Contents） 背景（Contexts） 实现代码（SQL Codes） 方法一：使用拼接SQL，静态列字段； 方法二：使用拼接SQL，动态列字段； 方法三：使用PIVOT关系运算符，静态列字段； 方法四：使用PIVOT关系运算符，动态列字段； 扩展阅读一：参数化表名、分组列、行转列字段、字段值； 扩展阅读...
2019-06-24 16:32:51
2906
转载 发布ASP.NET Core网站到IIS
打开VS2015，新建项目：选择模板，取消身份验证：项目加载完成后就可以运行了：下面要发布到IIS：需要安装从IIS到Kestrel server的反向代理，下载地址：.NET Core Windows Server Hosting安装完后重启服务，用管理员权限打开命令行：输入net stop was /y运行完后再运行net star...
2019-06-18 09:43:46
976
转载 Kettle--url请求获取JSON数据并解析
1、场景某个请求地址返回的数据是json，用kettle请求该路径，并将json解析后存放到文本中；2、kettle流程步骤1：REST Client 为设置请求步骤2 JSON Input：注意JSON解析，如果字段里面的值是数组：{ "List":[ { "datetime":'2017-03-22 12:22:22',...
2019-06-14 22:03:53
10689
转载 SQLServer 数据库变成单个用户后无法访问问题的解决方法
解决办法是：运行下面SQLUSE master;GODECLARE @SQL VARCHAR(MAX);SET @SQL=''SELECT @SQL=@SQL+'; KILL '+RTRIM(SPID)FROM master..sysprocessesWHERE dbid=DB_ID('数据库名');EXEC(@SQL);ALTER D...
2019-06-11 20:40:49
2055
原创 “允许简易转换”选项导致在远程服务器上执行Job任务时数据出现中文乱码
问题描述：有一个转换和一个作业，功能是从A表向B表同步数据，当作业在本地执行时，没有任何问题，当在远程服务器上执行时，中文数据出现乱码的现象。解决方法：开始一直怀疑是数据库的编码存在问题，但是其它转换使用正常。后来发现在转换的设计页面，读取A表的“表输入”对象勾选了“允许简易转换”，如下图：取消该选项后，执行正常。注：勾选“允许简易转换”后可以避免不必要的字段的数据类型转换，从而提...
2019-05-28 14:27:50
811
转载 IdentityServer4实现单点登录统一认证
开发环境：vs2017 、net Core 2.1、sqlserver2012一。搭建IdentityServer4服务端打开VS2017，新建 netcore项目： 名字叫：IdentityS4， 然后选择webMVC这个，如下图：引进安装依赖项：IdentityServer4设置该项目的地址为：http://localhost:5000...
2019-05-24 16:37:17
8714
2
原创 carte执行job任务时出现中文乱码
在carte.bat文件中，增加以下代码set OPT= -Dfile.encoding=utf-8这样的话，启动Carte的时候会出现乱码，但是执行JOB任务的时候，显示正常，而且不影响使用。...
2019-05-23 19:49:23
1566
转载 kettle中"数据库查询"与"数据库连接"步骤的区别
“数据库查询”步骤对于每一行输入流最多只能向输出流返回一行,而”数据库连接”步骤是从数据库中返回的每一行都输出到输出流中.换句话说,”数据库连接”步骤包含了”数据库查询”的结果,同时返回更多的数据行.1.示例表:2.输入数据:3.用数据库查询显示如下:纵使 id=2707 有不同的两条数据,但是只返回一条;4.用数据库连接显示如下:返回了所有id=2...
2019-05-23 19:44:46
3419
转载 VScode编程软件常用技巧
（一）主命令框F1或 Ctrl+Shift+P: 打开命令面板。在打开的输入框内，可以输入任何命令，例如：按一下Backspace会进入到 Ctrl+P模式 在Ctrl+P下输入>可以进入Ctrl+Shift+P模式在 Ctrl+P窗口下还可以: 直接输入文件名，跳转到文件?列出当前可执行的动作!显示 Errors或 Warnings，也可以Ctrl+Shift+M:跳转...
2019-02-27 09:58:59
1103
转载 Oracle 查询库中所有表名、字段名、字段名说明，查询表的数据条数、表名、中文表名
查询所有表名：select t.table_name from user_tables t;查询所有字段名：select t.column_name from user_col_comments t;查询指定表的所有字段名：select t.column_name from user_col_comments t where t.table_name = 'BIZ_DICT_XB';查...
2019-01-03 17:03:40
1942
转载 SQL SERVER查询数据库所有的表名/字段
SELECT * FROM INFORMATION_SCHEMA.COLUMNS WHERE TABLE_NAME='subject' --表名 1.利用sysobjects系统表 在这个表中，在数据库中创建的每个对象（例如约束、默认值、日志、规则以及存储过程）都有对应一行，我们在该表中筛选出xtype等于U的所有记录，就为数据库中的表了。 示例语句如下：select * f...
2019-01-03 16:57:06
328
转载 mysql-8.0 安装教程（自定义配置文件，密码方式已修改）
下载zip安装包： MySQL8.0 For Windows zip包下载地址：https://dev.mysql.com/downloads/file/?id=476233，进入页面后可以不登录。后点击底部“No thanks, just start my download.”即可开始下载。 或直接下载：https://dev.mysql.com/get/Downloads/MySQ...
2019-01-02 19:57:52
646
转载 Redis学习手册(Key操作命令)
一、相关命令列表：命令原型 时间复杂度 命令描述 返回值 KEYS pattern O(N) 时间复杂度中的N表示数据库中Key的数量。获取所有匹配pattern参数的Keys。需要说明的是，在我们的正常操作中应该尽量避免对该命令的调用，因为对于大型数据库而言，该命令是非常耗时的，对Redis服务器的性能打击也是比较大的。pattern支持glob-style...
2018-12-08 17:48:10
134
转载 AspNetCore 使用Redis实现分布式缓存
上一篇讲到了，Core的内置缓存：IMemoryCache，以及缓存的基础概念。本篇会进行一些概念上的补充。 本篇我们记录的内容是怎么在Core中使用Redis 和 SQL Server 实现分布式缓存。一、文章概念描述分布式缓存描述：分布式缓存重点是在分布式上，相信大家接触过的分布式有很多中，像分布式开发，分布式部署，分布式锁、事物、系统 等有很多。使我们对分布式本身就有一个...
2018-12-08 17:44:57
741
转载 AspnetCore 缓存篇
一、缓存的作用怎样理解缓存： 其实所有的程序，架构，优化，线程...等技术手段，最终的目的都是如何使产品快速的响应用户的操作，提高用户的体验性，目标都是为了系统的使用者，缓存的存在也是同样的道理，缓存常用于存放不经常更改的数据信息，比如，用户的基础数据、Token等一些长被使用并且不常更改的. 举例说明 咱们就拿用户的登录操作来说，有一个系统是这样设计的，（1）用户（输...
2018-12-08 17:30:49
2127
1
转载 AspNet Core Api Restful +Swagger 实现微服务之旅（四）
接着上一篇的内容 （2） 程序错误时 返回数据格式封装 （3） 返回结果包装 （4） 对外开放的接口 参数必填与非必填的声明 （2） 程序错误时 返回数据格式封装/（3）返回结果包装 2.1创建捕获异常类当有异常发生时自定义返回信息 WebApiException public class WebApi...
2018-12-08 17:22:55
282
转载 AspNet Core Api Restful +Swagger 实现微服务之旅 （三）
（1） 访问Rest ful接口时 Token验证 返回数据格式封装（一）访问时Token验证 返回数据格式封装 1.1访问Api接口 方法 实现 1.1.1 创建访问Restful Api帮助类 public static string MyGet = "GET"; public static string MyPost = "PO...
2018-12-08 17:01:38
230
转载 AspNet Core Api Restful +Swagger 发布IIS 实现微服务之旅 （二）
上一步我们创建好CoreApi接下来在框架中加入 Swagger 并发布 到 IIS（1）首先点击依赖项》管理Nuget包（2）输入 Swashbuckle.aspnetCore 比如：图中两个Swagger 插件需要我们安装 注意：我这里已经安装过显示的是 卸载 （3） 在框架中 添加Swagger 注解的帮助类 HttpHeaderOperation ...
2018-12-08 16:55:19
1025
转载 AspNet Core Api Restful 实现微服务之旅 （一）
（一）了解微服务（二）搭建VS项目框架 （三）创建AspNet Core Api VS2017 安装包 链接：https://pan.baidu.com/s/1hsjGuJq 密码：ug59创建 Core Api下一步生成1.Properties：项目的启动配置信息2.wwwroot :是一个存放项目静态内容的文件夹，存放了诸如css，js，img3依...
2018-12-08 16:51:57
647
转载 搭建数据仓库第09篇：物理建模
归纳起来就是主题域设计 分层设计 维度建模反第三范式操作，星型模型和星座模型 分区设计 依照逻辑模型，在数据库中进行建表、索引等。数据仓库，为了满足高性能的需求，可以增加冗余、隐藏表之间的约束等反第三范式操作。这一阶段，主要针对的是数据库、硬件、性能。范式：第一范式：数据库表的字段都是单一属性，不可再分。第二范式：数据库表中不存在非关键字段对任一候选关键字段的部分函...
2018-12-07 09:16:31
331
转载 搭建数据仓库第08篇：逻辑建模–5–维度建模核心之一致性维度2
目录 前言 维度表的类型 维度表的使用场景 维度表的键和属性 小结 前言前面从宏观的角度，讲述了7何问题。那么从微观的角度，具体的改怎样的来建设一致性维表呢？ 本篇从表的类型和使用场景，以及建设过程中键的设置和属性的设置做一些总结。 维度表的类型总体上讲，一般分为两类 TYPEI（不变） 和TYPEII表（...
2018-12-07 09:16:18
405
转载 搭建数据仓库第07篇：逻辑建模–4–维度建模核心之一致性维度
目录前言 What一致性维度 When一致性维度 Where一致性维度 How一致性维度 Why一致性维度 小结 前言上一篇提到了数据仓库建设中的维度建模方法，了解了总线架构的基础是一致性维度。本篇将具体的总结一致性维度的5W问题。 What一致性维度维度一直是大家所熟知的，但是前面加上了“一致性”之后便成了数据仓库特有的一类维度表，其实一致性维度在表...
2018-12-07 09:16:06
969
转载 搭建数据仓库第06篇：逻辑建模–3–维度建模核心之总线架构
目录前言 维度建模 星型模型 小结 前言 维度建模是Kimball提出来的经典的数据仓库建模思想。维度建模提倡针对某一主题，通过建设维度和事实来快速建设数据仓库。与维度建模相对应的自然是Inmon的范式建模。在上篇也提到范式建模非常适合应用于中间明细层的建设，那么在DW/DM层为什么选择使用维度建模呢？这是第一个问题。维度建模的核心是总线架构，一致性维度，一致性事...
2018-12-07 09:15:53
501
转载 搭建数据仓库第05篇：逻辑建模–2–范式建模
目录前言 使用情景 如何来范式建模 使用的效果 小结 前言 上篇讲述了一些抽象的概念模型和逻辑模型设计的东西，接下来就该讲述如何来一步一步的利用Inmon和Kimball数据仓库的理论来建设数据仓库的模型，主要分几块吧，一个是范式建模，然后是维度建模（分几篇总结），最后是因地制宜，按照自己的平台来考虑如何综合的考虑Inmon和Kimball数据仓库的理论的应用。...
2018-12-07 09:15:43
339
转载 搭建数据仓库第04篇：逻辑建模–1–概要
目录前言 原则 内容 小结 前言 上一篇讲述了数据仓库模型设计中的业务建模和领域概念建模，接下来就自然而然的来到了逻辑数据建模LDM(Logical Data Model)的阶段，这个阶段可以说是建模最重要的一环（也就是维度建模）。逻辑建模涉及到了整个数据仓库所有层次的模型设计，从DW到DM甚至到了OLAP。当然重点的设计还是在DW和DM层当中。有些地方逻辑建模的范...
2018-12-07 09:15:30
381
转载 搭建数据仓库第03篇：业务建模和概念模型设计
目录前言 业务建模 概念模型 小结 前言上一篇在数据仓库在技术架构设计和产品选择方面进行了一些总结。从这一篇将开始数据路径上的学习和思考吧。数据仓库作为一种产品，在不同的公司或者部门设计出来是不一样的。但是设计的思想是相通的。按照层次关系划分，数据路径上包括业务建模，概念模型设计，逻辑模型设计和物理模型设计。业务建模是针对公司或者部门级的业务进行全方面的梳理和分解...
2018-12-07 09:15:16
1122
转载 搭建数据仓库第02篇：数据仓库技术架构解决方案
上一篇开了个头，从Kimball数据仓库生命周期方法角度，列出了数据仓库搭建的核心步骤，从这一篇开始将讲述技术路径：技术架构设计和产品选择和安装。首先先以某公司的数据仓库的总体架构图的视角，了解整个数据仓库搭建起来后结构大体的样子。 最底层是数据源，一般是在线的数据库或者是文件系统。对于在线数据库，一般是操作型数据库，比如mysql,oracle等，一般是存在主库和从库，从库用来做...
2018-12-06 14:12:51
475
转载 搭建数据仓库第01篇：数据仓库开发的生命周期
虽然一直在做数据仓库开发，但是还没有从0开始搭建过数据仓库，所以就想通过学习和思考来搭建一个还不错的数据仓库。比较经典的当属Kimball生命周期方法，它为我们在数据仓库开发过程中提供了路标的作用，生命周期方法的总体结构的核心内容有定义业务需求 技术路径 技术架构设计 产品的选择和安装 数据路径 维度建模 物理设计 ETL设计和开发 BI应用路径 BI应用设计...
2018-12-06 14:12:15
680
转载 浅析多维体系结构(总线架构), 一致性维度和一致性事实(转载)
在Kimball的维度建模的数据仓库中，关于多维体系结构（MD）有三个关键性概念：总线架构（Bus Architecture），一致性维度（Conformed Dimension）和一致性事实（Conformed Fact）。 总线架构 多维体系结构(总线架构) 数据仓库领域里，有一种构建数据仓库的架构，叫Multidimensional Architecture（MD），中文一般翻...
2018-12-06 14:11:27
294
转载 数据仓库之父——Bill Inmon(转载)
比尔·恩门（Bill Inmon），被称为数据仓库之父，最早的数据仓库概念提出者，在数据库技术管理与数据库设计方面，拥有逾35年的经验。他是“企业信息工厂”的合作创始人与“政府信息工厂”的创始人。 比尔·恩门的思想与见识在所有重量级的计算机协会、许多产业会议、技术研讨会上，都博得了无比的敬重。他写过650多篇文章，大多发布在世界最知名的IT刊物里，DMReview杂志每期都有恩门先生的专栏文...
2018-12-06 14:10:35
4186
转载 数据仓库中的几种数据模型
数据仓库中常见的模型有：范式建模，雪花模型，星型建模，事实星座模型.星型模型星型模型是数据集市维度建模中推荐的建模方法。星型模型是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。星型模型的特点是数据组织直观，执行效率高。因为在数据集市的建设过程中，数据经过了预处理，比如按照维度进行了汇总，排序等等，数据量减少，执行的效率就比较高。 雪花模型雪花模型也是维...
2018-12-06 14:09:54
297
1
转载 数据仓库为什么要分层
如何分层 结合Inmon和Kimball的集线器式和总线式的数据仓库的优点，分层为ODS【-MID】-DW-DM-OLAP/OLAM/app ODS层是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中，数据经过了一定的清洗，比如字段的统一，脏数据的去除等，但是数据的粒度是不会变化的。ODS层的数据可以只保留一定的时间。 MID中间层是采用Inmon集线器...
2018-12-06 14:08:51
1532
转载 数据仓库的两种建模方法
范式建模 Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构。操作型或事务型系统的数据源，通过ETL抽取转换和加载到数据仓库的ODS层，然后通过ODS的数据建设原子数据的数据仓库EDW，EDW不是多维格式的，不方便上层应用做数据分析，所以需要通过汇总建设成多维格式的数据集市层。优势：易于维护，高度集成；劣势：结构死板，部署周期较长 范式建模应用在EDW层 一个符合第三范式的关...
2018-12-06 14:07:43
859
转载 数据仓库之架构发展
数据仓库有很多类型的架构方式，按照发展的历程上，主要有如下几类标志性。独立的数据集市架构。 在最早期的数据仓库建设中，大多是以部门为单位搭建数据仓库，也就是数据集市，供整个部门使用。这样能够很快的构建好数据仓库，但是缺点是很容易产生不同部门因数据计算口径不同而导致的数据产出结果不一致。当然对于小公司来讲，构建一个公司级的数据集市也是能够满足需求的。 联邦式的数据仓库架构。不同的部门构建出不同...
2018-12-06 14:07:10
182
转载 数据仓库是什么
数据库是最常听到的名词之一了，但是当提到数据仓库的时候，就会疑问，数据仓库是数据库吗？ 如果不是，数据仓库是什么，用来干什么的呢？ 平时遇到这个问题一般还真是不好简单明了的回答，因为也的确不是一两句话说的清的。那么数据仓库到底是什么呢，跟数据库有什么区别呢？ 数据仓库是什么呢？数据仓库是面向主题的 集成的 相对稳定的 反映历史变化的数据集合，目的在于支持决策 面向主题 ...
2018-12-06 14:06:23
388
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人