- 博客(1222)
- 资源 (16)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 数据仓库开发
CDM：公共数据层，由DWD+DWS+ADS+DIM共同构成公共处理逻辑收敛和下沉统一公共指标和公共维度，减少数据的不一致性建立整个业务范围内的一致性维度，并确保使用；实体表，不大，就可以做每日全量。对于维度表，比如说商品分类，这种不是很大，也可以做每日全量，有一些不太会发生改变的维度，就可以固定保存一份值，比如说：地区，种族等。像事务型事实表，比如说交易流水，操作日志，出库信息，这种每日比较大，且需要历史数据的，就根据时间做每日新增，可以利用分区表，每日做分区存储。像周期型事实表。
2022-11-25 18:09:16
2382
原创 数仓建设教程
需要针对不同需求的用户开发不同的产品，所以公司内部有很多条业务线，但是对于数据部门来说，所有业务线的数据都是数据源。对数据的划分不只是根据业务进行，而是结合数据的属性。一张图总结下数据仓库的构建整体流程：数据中台本文以电商业务为例，展示实时数仓的数据处理流程。另外，本文旨在说明实时数仓的构建流程，所以不会涉及复杂的数据计算。为了保证案例的可操作性和完整性，本文会给出详细的操作步骤。为了方便演示，本文的所有操作都是在Flink SQL Cli中完成。要想真正解决数据质量问题，就要。
2022-11-25 18:06:53
5332
3
原创 元数据管理系统
如果想建设好元数据系统，需要理解元数据系统的相关概念，如数据、数据模型、元数据、元模型、ETL、数据血缘等等。首先，要清楚数据的定义、数据模型的定义。数据一般是对客观事物描述的抽象，在数据库维度，数据是数据记录的简称，例如，个人的基本信息、产品信息等。数据模型是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架。数据模型所描述的内容有三部分，分别是数据结构、数据操作和数据约束。
2022-11-22 16:35:14
10084
2
原创 一站式元数据治理平台——Datahub
首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。数据治理是大佬们最近谈的一个火热的话题。不管国家层面，还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于元数据管理，我们要知道数据的来龙去脉，才能对数据进行全方位的管理，监控，洞察。DataHub是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具。
2022-11-22 16:18:44
3123
原创 软件定义汽车产业生态创新白皮书
随着汽车智能化的深入发展，汽车的软件和硬件复杂度将越来越高，传统以硬件设计为中心的 V 型开发流程亟需优化。传统分布式电子电气架构对新功能的持续迭代、快速升级变得越来越困难，很多机械类的硬件产品即便一个很小的变更，也要牵动整车的更改，要按照 V 型开发流程进行严格验证，是导致传统整车开发周期长的主要原因。而通过软硬件分层解耦架构，汽车开发将进入到以软件为核心的迭代开发新模式。在该模式下软件和硬件不仅可以同步进行平台化开发，还可保持差异化上市和持续升级迭代，从而大大缩短产品的研发周期。
2022-11-19 23:32:51
2313
转载 万字详解数仓分层设计架构 ODS-DWD-DWS-ADS
只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。1）清晰数据结构每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。2）数据血缘追踪简单来讲可以这样理解，我们最终给业务诚信的是一能直接使用的张业务表，但是它的
2022-11-13 21:25:50
1245
原创 智能网联汽车 自动驾驶地图数据质量规范
T/CSAE 185-2021界定的以及下列术语和定义适用于本文件。本文件规定的被检测自动驾驶地图数据的地理覆盖范围为全场景范围，包括全封闭的高速公路、城市快速路，也包括城际间和城区内的普通开放道路和园区、场区、停车场（库）等的内部道路及停车设施；被检测自动驾驶地图数据的表达方式为矢量地图数据，不包括点云类的特征定位数据。自动驾驶地图数据质量检测的基本要求应包括：a) 检测对象，又称检测内容，规定被检数据分类、被检数据单元划分、被检数据质量元素和质量子元素。
2022-11-12 23:17:55
3577
原创 智能网联汽车测试场景数据车载采集平台搭建要求及方法
下列术语和定义适用于本文件。场景采集所采用的环境感知传感器用于记录车辆行驶时的外部环境信息和驾驶员信息。场景采集平台常用的环境感知传感器，按其上报数据的类型，可分为以下2类：a） 记录外部环境信息的传感器；b） 记录驾驶室内部的环境感知传感器。
2022-11-12 22:43:06
3503
原创 车路协同 智能路侧决策系统边缘计算系统功能技术要求
下列术语和定义适用于本文件。智能路侧决策系统 roadside intelligent decision-making system智能路侧决策系统是指位于道路侧的可为智能网联车辆、信息化设施设备、管控设备提供决策指令以提升总体交通收益的系统。系统可以根据所感知的信息以及预期实现的目标，与车辆协作或独立做出决策，决策维度包括宏、微观时空资源，具体表现形式包括但不限于专用道管理、信号管理、路径诱导、生态驾驶、编队管理、自动驾驶轨迹点规划等。
2022-11-12 21:22:12
2084
原创 合作式智能运输系统 应用层交互技术要求 第 1 部分：意图共享与协作
T/CSAE 157-2020界定的以及下列术语和定义适用于本文件。请求方 HV 可通过与协作方 RV 的交互实现车车协作（6.2），也可通过与路侧引导方路侧设备的交互实现车路协作引导（6.3）。具体触发何种协作方式应由请求方 HV 决策，不在本文件范围内。意图协作功能应基于稳定、可靠的端到端连接。意图协作支持的场景如表 6 所示：表6 意图协作类支持的细分场景细分应用场景协作式变道-车车协作协作式变道-车路协作引导协作式车辆汇入-车车协作协作式车辆汇入-车路协作引导。
2022-11-12 18:33:01
1705
原创 CDH集群离线部署
修改Cloudera Agent配置文件/etc/cloudera-scm-agent/config.ini，配置server_host为主节点cdh-1。CDH的安装包都是rpm包如果使用rpm安装方式安装起来是比较复杂的，会有很多依赖问题需要解决，就需要使用yum帮助我们解决依赖问题。主流的有Apache Ambari和Cloudera Manager，相对应的Hadoop的发行版为HDP和CDH。Agent：安装在每台主机上。Server：负责软件安装、配置，启动和停止服务，管理服务运行的群集。
2022-11-07 16:58:14
894
原创 HBase 知识手册
HBase 是 BigTable 的开源 Java 版本。是建立在 HDFS 之上，提供高可靠性、高性能、列存储、可伸缩、实时读写 NoSql 的数据库系统。它介于 NoSql 和 RDBMS 之间，仅能通过主键(row key)和主键的 range 来检索数据，仅支持单行事务(可通过 hive 支持来实现多表 join 等复杂操作)。主要用来存储结构化和半结构化的松散数据。Hbase 查询数据功能很简单，不支持 join 等复杂操作，不支持复杂的事务（行级的事务） Hbase 中支持的数据类型：byte[
2022-11-02 14:47:30
673
原创 Hive大数据开发
Hive由Facebook实现并开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供**HQL(Hive SQL)**查询功能，底层数据是存储在HDFS上。Hive的本质是将SQL语句转换为 MapReduce任务运行，使不熟悉MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化的数据，适用于离线的批量数据计算。
2022-11-01 23:10:31
1523
原创 HBase RowKey设计
检索habse的记录首先要通过row key来定位数据行。当大量的client访问hbase集群的一个或少数几个节点，造成少数region server的读/写请求过多、负载过大，而其他region server负载却很小，就造成了“热点”现象。
2022-10-26 10:31:37
1691
原创 数据同步工具Sqoop
Apache Sqoop（SQL-to-Hadoop）项目旨在协助RDBMS（Relational Database Management System：关系型数据库管理系统）与Hadoop之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。
2022-10-26 10:28:56
2117
原创 大数据平台搭建及集群规划
例如，假设总共需要存储 800TB 的数据，HDFS 的块副本数为 3，如果每个 DataNode 配置 10 块 8T 的硬盘，那么，采购 30 台 DataNode 服务器即可。在每个机柜中都可部署相应的 Hadoop 服务，可以看出，机柜 1 和 2 分别部署了 NameNode 的主、被节点，这两个主、备节点分开部署到不同的机柜，可以最大限度保证 NameNode 的可靠性，不建议将主、备节点部署到同一个机柜中，因为如果某个机柜发生故障（电源故障、网络故障），那么主、备将失去存在的意义。
2022-10-26 10:24:40
3912
1
转载 线程池总结
线程池其实是一种池化的技术的实现，池化技术的核心思想其实就是实现资源的一个复用，避免资源的重复创建和销毁带来的性能开销。在线程池中，线程池可以管理一堆线程，让线程执行完任务之后不会进行销毁，而是继续去处理其它线程已经提交的任务。降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。提高响应速度。当任务到达时，任务可以不需要等到线程创建就能立即执行。提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统 的稳定性，使用线程池可以进行统一的分配，调优和监控。
2022-10-23 16:19:03
175
原创 智能网联汽车云控系统第3部分：路云数据交互规范
下列术语和定义适用于本文件。3.1 云控基础平台 cloud control basic platform云控基础平台由边缘云、区域云与中心云三级云组成，形成逻辑协同、物理分散的云计算中心。云控基础平台以车辆、道路、环境等实时动态数据为核心，结合支撑云控应用的已有交通相关系统与设施的数据，为智能网联汽车与产业相关部门和企业提供标准化共性基础服务。3.2 客户端 client进行数据交互时，作为路侧数据发送方的一端。3.3 服务端 server进行数据交互时，作为路侧数据接收方的一端。
2022-10-22 23:51:09
3355
1
原创 智能网联汽车云控系统第2部分：车云数据交互规范
T/CSAE XXXX《智能网联汽车云控系统第 1 部分 基础术语》界定的以及下列术语和定义适用于本文件。3.1 云控基础平台 cloud control basic platform云控基础平台是由边缘云、区域云与中心云三级云组成，形成逻辑协同、物理分散的云计算中心。云控基础平台以车辆、道路、环境等实时动态数据为核心，结合支撑云控应用的已有交通相关系统与设施的数据，为智能网联汽车与产业相关部门和企业提供标准化共性基础服务。3.2 上行 upstream车端到云端的数据传输方向。
2022-10-22 13:32:22
4180
原创 智能网联汽车云控系统第5部分：平台服务场景规范
下列术语和定义适用于本文件。3.1 车路云一体化融合控制系统 system of coordinated control by vehicle-road-cloud integration，SCCVRCI利用新一代信息与通信技术，将人、车、路、云的物理层、信息层、应用层连为一体，进行融合感知、决策与控制，可实现车辆行驶和交通运行安全、效率等性能综合提升的一种信息物理系统。3.2 车路云融合控制 coordinated control by vehicle-road-cloud。
2022-10-22 11:57:07
2149
原创 智能网联汽车云控系统第1部分：系统组成及基础平台架构
下列术语和定义适用于本文件。3.1智能网联汽车云控系统 intelligent and connected vehicles cloud control system车路云一体化融合控制系统，简称“云控系统”。利用新一代信息与通信技术，将人、车、路、云的物理层、信息层、应用层连为一体，进行融合感知、决策与控制，实现车辆行驶和交通运行安全、效率等性能综合提升的一种信息物理系统。3.2云控基础平台 cloud control basic platform。
2022-10-22 11:41:22
5378
转载 日立的车路协同一体化解决方案
车路协同一体化解决方案包括城市道路智能化改造和基础设施建设、重点车辆终端智能化升级、公共交通一体化管理系统、智慧出行掌上服务等整套方案，构建基于智能网联的“车-站-路-云” 一体化协同解决方案。方案整体示意图智慧交叉路口、绿波通行车速引导、实时车路协同、超视距防碰撞盲区预警、公交车辆安全精准停靠等V2X功能；实时监控、精准调度、拥堵预警、客流统计分析功能，实现公共车辆科学排班和精准调度；此外，对重点车辆司机驾驶行为分析、预警，辅助驾驶等，提升安全管理水平，有效降低安全事故率。
2022-10-08 10:15:09
342
原创 Redis的持久化方案
Redis 是内存数据库，数据都是存储在内存中，为了避免进程退出导致数据的永久丢失，需要定期将 Redis 中的数据以某种形式（数据或命令）从内存保存到硬盘。当下次 Redis 重启时，利用持久化文件实现数据恢复。除此之外，为了进行灾难备份，可以将持久化文件拷贝到一个远程位置。Redis 的持久化机制有两种：RDB(Redis Data Base) 内存快照AOF(Append Only File) 增量日志。
2022-10-08 09:52:14
5422
转载 10 张图告诉你 RocketMQ 是怎样保存消息的
首先，在 RocketMQ 集群中创建一个 Topic，叫做 MyTestTopic，配置如下图：这里解释一下图中的几个参数：writeQueueNums：客户端在发送消息时，可以向多少个队列进行发送；readQueueNums：客户端在消费消息时，可以从多少个队列进行拉取；perm：当前 Topic 读写权限，2 只允许读、4 只允许写、6 允许读写，默认是 6。RocketMQ 主要有 3 个消息相关的文件：commitlog、consumequeue 和 index。
2022-09-27 14:31:35
507
转载 24张图弄懂线程池
线程池其实是一种池化的技术的实现，池化技术的核心思想其实就是实现资源的一个复用，避免资源的重复创建和销毁带来的性能开销。在线程池中，线程池可以管理一堆线程，让线程执行完任务之后不会进行销毁，而是继续去处理其它线程已经提交的任务。降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。提高响应速度。当任务到达时，任务可以不需要等到线程创建就能立即执行。提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统 的稳定性，使用线程池可以进行统一的分配，调优和监控。
2022-09-27 09:10:53
266
原创 RabbitMQ（八）发布确认
在生产环境中由于一些不明原因，导致 rabbitmq 重启，在 RabbitMQ 重启期间生产者消息投递失败，导致消息丢失，需要手动处理和恢复。于是，我们开始思考，如何才能进行 RabbitMQ 的消息可靠投递呢？
2022-09-23 14:52:23
402
原创 RabbitMQ（七）延迟队列
延时队列在需要延时处理的场景下非常有用，使用 RabbitMQ 来实现延时队列可以很好的利用RabbitMQ 的特性，如：消息可靠发送、消息可靠投递、死信队列来保障消息至少被消费一次以及未被正确处理的消息不会被丢弃。另外，通过 RabbitMQ 集群的特性，可以很好的解决单点故障问题，不会因为单个节点挂掉导致延时队列不可用或者消息丢失。
2022-09-23 14:51:39
115
转载 多线程面试题
选择多线程的原因，就是因为快。举个例子：所以，我们使用多线程就是因为： 在正确的场景下，设置恰当数目的线程，可以用来程提高序的运行速率。更专业点讲，就是充分地利用CPU和I/O的利用率，提升程序运行速率。当然，有利就有弊，多线程场景下，我们要保证线程安全，就需要考虑加锁。加锁如果不恰当，就很很耗性能。Java中创建线程主要有以下这几种方式：2.2 定义Runnable接口的实现类，并重写该接口的run()方法2.3 定义Callable接口的实现类，并重写该接口的call()方法如果想要执行的线程有
2022-09-23 14:40:26
647
原创 RabbitMQ（五）交换机
Fanout 这种类型非常简单，正如从名称中猜到的那样，它是将接收到的所有消息广播到它知道的所有队列中。上一节中的我们的日志系统将所有消息广播给所有消费者，对此我们想做一些改变，例如我们希望将日志消息写入磁盘的程序仅接收严重错误(errros)，而不存储哪些警告(warning)或信息(info)日志消息避免浪费磁盘空间。
2022-09-22 14:53:35
141
原创 RabbitMQ（四）发布确认
confirm 模式最大的好处在于他是异步的，一旦发布一条消息，生产者应用程序就可以在等信道返回确认的同时继续发送下一条消息，当消息最终得到确认之后，生产者应用便可以通过回调方法来处理该确认消息，如果 RabbitMQ 因为自身内部错误导致消息丢失，就会发送一条 nack 消息，生产者应用程序同样可以在回调方法中处理该 nack 消息。这种确认方式有一个最大的缺点就是：发布速度特别的慢， 因为如果没有确认发布的消息就会阻塞所有后续消息的发布，这种方式最多提供每秒不超过数百条发布消息的吞吐量。
2022-09-22 14:52:51
95
原创 RabbitMQ（三）持久化
如何保障当 RabbitMQ 服务停掉以后消息生产者发送过来的消息不丢失。默认情况下 RabbitMQ 退出或由于某种原因崩溃时，它忽视队列和消息，除非告知它不要这样做。确保消息不会丢失需要做两件事： 我们需要将队列和消息都标记为持久化。
2022-09-22 14:52:01
120
原创 RobbitMQ（二）消息应答
消息发送后立即被认为已经传送成功，这种模式需要在高吞吐量和数据传输安全性方面做权衡,因为这种模式如果消息在接收到之前，消费者那边出现连接或者 channel 关闭，那么消息就丢失了,当然另一方面这种模式消费者那边可以传递过载的消息， 没有对传递的消息数量进行限制，当然这样有可能使得消费者这边由于接收太多还来不及处理的消息，导致这些消息的积压，最终使得内存耗尽，最终这些消费者线程被操作系统杀死， 所以这种模式仅适用在消费者可以高效并以某种速率能够处理这些消息的情况下使用。false 同上面相比。
2022-09-22 14:51:21
96
原创 RabbitMQ（一）概述
Broker：接收和分发消息的应用， RabbitMQ Server 就是 Message Broker：出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时，可以划分出多个 vhost，每个用户在自己的 vhost 创建 exchange／ queue 等Connection： publisher／ consumer 和 broker 之间的 TCP 连接。
2022-09-22 14:49:19
99
原创 RocketMQ（二十四）整合SpringBoot
使用rocketmq-spring-boot-starter发送顺序消息就比较方便了，不像使用rocket-client那样，需要手动获取RocketMQ中当前topic的队列个数然后再通过hashKey值，mqs.size()取模，得到一个索引值，这里底层都帮我们做好了处理！>的形式的，其实我们发送Object的时候，底层是有帮我们做转换的，其实和我们在上层调用。这里普通单向消息就只有两个操作空间，这个不用多说了，一个是Object，另一个是Message。同步消息也就这些API，简单讲解一下！
2022-09-22 14:44:57
1248
Kubernetes优势及设计架构
2020-12-08
aspose-words-cell.zip
2020-07-09
GeoMesa Spark.docx
2019-07-10
mindMapping.zip
2019-06-16
中文API参考文档大全
2018-05-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人