架构
文章平均质量分 60
草棚
Github:https://github.com/pengcao
Email:deamoncao@163.com
展开
-
数据库构建-mysql单机多实例篇
mysql单机多实例原创 2016-06-06 23:17:04 · 1913 阅读 · 0 评论 -
虚拟机中安装好的centos不能上网
本文从问题的现状以及解决过程中问题查找以及问题解决进行描述,如下所示:1.ping www.baidu.com上网失败2.将虚拟机中安装好的centos网络设置成NAT3.重启网络发现重启失败报错有:“正在打开接口 ens33: 错误:激活连接失败:No suitable device found for this connection”以及“Failed to start L...原创 2019-07-21 15:50:15 · 733 阅读 · 0 评论 -
spark环境搭建下---Spark集群搭建
本文接着上一篇的博客“spark环境搭建上---Hadoop集群搭建”进行。本文主要介绍scala以及spark的安装与搭建。七.scala安装1.下载我的安装的scala为scala-2.12.8https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.tgz2.安装参考scala安装在/opt目录下https...原创 2019-07-30 12:55:39 · 329 阅读 · 0 评论 -
数据仓库-数据模型
一.什么是数据模型 数据模型是抽象描述现实世界的一种工具和方法,是通过抽象的实体及实体之间联系的形式,来表示现实世界中事务的相互关系的一种映射。在这里,数据模型表现的抽象的是实体和实体之间的关系,通过对实体和实体之间关系的定义和描述,来表达实际的业务中具体的业务关系。 数据仓库模型是数据模型中针对特定的数据仓库应用系统的一种特定的数据模型,一般的来说,我们数据仓库模...原创 2019-07-07 12:55:44 · 340 阅读 · 0 评论 -
数据仓库-物理模型设计
数据仓库的物理模型就是数据仓库逻辑模型在物理系统中的实现模式。其中包括了逻辑模型中各种实体表的具体化,例如表的数据结构类型、索引策略、数据存放位置和数据存储分配等。在进行物理模型的设计实现时,所考虑的因素有:I/O存取时间、空间利用率及维护的代价。 为确定数据仓库的物理模型,设计人员必须做这样几方面工作:首先要全面了解所选用的数据库管理系统,特别是存储结构和存取方法;其...原创 2019-07-07 13:13:01 · 7111 阅读 · 0 评论 -
数据仓库-建模方法
目前业界较为流行的数据仓库的建模方法非常多,每一种建模方法其实代表了哲学上的一个观点,代表了一种归纳,概括世界的一种方法。这里主要介绍范式建模法,维度建模法,实体建模法等几种方法,每种方法其实从本质上讲就是从不同的角度看我们业务中的问题。1. 范式建模法(Third Normal Form,3NF) 范式建模法其实是我们在构建数据模型常用的一个方法,该方法的主要由...原创 2019-07-07 14:45:33 · 2429 阅读 · 0 评论 -
数据仓库-建模详解和建模技巧
构建企业级数据仓库五步法1.确定主题 即确定数据分析或前端展现的主题。例如:我们希望分析某年某月某一地区的啤酒销售情况,这就是一个主题。主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系,确定主题时要综合考虑。 我们可以形象的将一个主题想象为一颗星星:统计数值型数据(量度)存在于星星中间的事实表;分析角度(维度)是星星的各个角;我们将通过维度的组合,来考察...原创 2019-07-07 13:06:03 · 1997 阅读 · 0 评论 -
数据仓库-逻辑模型设计(粗讲)
逻辑建模能直接反映出业务部门的需求,同时对系统的物理实施有着重要的指导作用,它的作用在于可以通过实体和关系勾勒出企业的数据蓝图。 数据仓库逻辑建模的内容主要有: 1.分析主题域 在概念模型设计中,我们确定了几个基本的主题域,但是,数据仓库的设计方法是一个逐步求精的过程,在进行设计时,一般是一次一个主题或一次若干个主题地逐步完成的。所以,我们必须对概念模型设计步骤中确定的几个基...原创 2019-07-09 18:51:04 · 5440 阅读 · 1 评论 -
osm转换shp
本文提供的方法是通过ArcGIS将osm文件转换成shp文件。1.前期准备1.1安装ArcGis下载链接:https://pan.baidu.com/s/1hyCRbm4hAjoxUSN2wdsDvw密 码:af4h解压密码:malagis.com安装教程:https://malagis.com/arcgis-desktop-10-5-full-installation-t...原创 2018-07-21 23:43:30 · 16659 阅读 · 7 评论 -
postgis常用函数实践
参照:https://note.youdao.com/share/index.html?id=baa8fff3251212023a179f2e85faacef&type=note#/PostGIS中的常用函数:https://www.w3cschool.cn/wqf_database/wqf_database-ip53284h.html官方文档:https://postgis.ne...原创 2018-07-14 12:18:15 · 4604 阅读 · 0 评论 -
获取OSM数据,并通过osm2pgsql导入postgreSQL数据库
第一步.工具准备1.数据库postgreSQL去官网https://www.enterprisedb.com/downloads/postgres-postgresql-downloads下载 postgreSQL安装版,选择需要安装的版本,点击download now(有些较老的版本开发已经不再支持,建议尽量选取较高版本吧)2.安装数据库postgreSQL postg...原创 2018-07-04 22:31:56 · 9468 阅读 · 5 评论 -
数据集成-Mule database insert数据乱码
如下所示添加参数:characterEncoding=utf8原创 2018-06-24 17:44:57 · 628 阅读 · 0 评论 -
spark环境搭建上---Hadoop集群搭建
本文介绍的是在虚拟机中搭建的一个spark集群,该集群有三台虚拟机组成,一个主节点,两个从节点。主要涉及到的主要环节分为:VMware® Workstation 14 Pro安装、centos7安装、主机之间免密登录、java安装、hadoop安装、scala安装、spark安装。这里面主要介绍主机之间免密登录、java安装、hadoop安装、scala安装、spark安装。一.VMware®...原创 2019-07-21 15:38:56 · 579 阅读 · 0 评论