阳光-星辰大海-CSDN博客

原创内网接口发布公共工具

背景开发完成接口部署后可以在本地使用localhost或者127.0.0.1来访问，在同一个局域网内的机器也可以通过访问局域网IP来实现接口访问，但是外网无法直接访问，我们需要使用腾讯云图来访问局域网内开发的接口，这就需要用到内网穿透工具，内网穿透工具可以让我们的局域网内部署的数据接口实现被外网访问。目前内网穿透工具非常多，例如：花生壳、Net123、网云穿、Ngrok、闪库、AllProxy等。这里我们使用网云穿工具来实现内网穿透。使用方法1、下载地址：网云穿内网穿透2、点击免费版领

2022-05-31 11:42:36 426

原创大数据架构

Lambda架构中含有离线处理与实时处理两条链路，两条链路处理数据导致数据不一致等Kappa 真正的实时数仓，目前在业界最常用实现就是Flink + KafkaKappa存在问题

2022-05-26 15:55:24 1770

原创人工智能数学

线性代数线性代数中最基本的概念是集合（set）。在数学上，集合的定义是由某些特定对象汇总而成的集体。集合中的元素通常会具有某些共性，因而可以用这些共性来表示在线性代数中，由单独的数 a 构成的元素被称为标量（scalar）：一个标量 a 可以是整数、实数或复数。如果多个标量 a1,a2,⋯,an 按一定顺序组成一个序列，这样的元素就被称为向量（vector）。显然，向量可以看作标量的扩展。原始的一个数被替代为一组数，从而带来了维度的增加，给定表示索引的下标才能唯一地确定向量中的元素。每个向量都

2022-05-26 11:34:39 535

原创 Clickhouse第六讲-视图

ClickHouse 中视图分为普通视图和物化视图，两者区别如图所示普通视图普通视图不存储数据，它只是一层 select 查询映射，类似于表的别名或者同义词，能简化查询，对原有表的查询性能没有增强的作用，具体性能依赖视图定义的语句，当从视图中查询时，视图只是替换了映射的查询语句。普通视图当基表删除后不可用。创建普通视图语法：CREATE [OR REPLACE] VIEW [IF NOT EXISTS] [db.]table_name [ON CLUSTER] AS SELEC

2022-05-26 11:15:55 1801 1

原创 K8S的POD

Pod，是 Kubernetes 项目中最小的 API 对象。如果换一个更专业的说法，我们可以这样描述：Pod，是 Kubernetes 项目的原子调度单位。“Namespace 做隔离，Cgroups 做限制，rootfs 做文件系统”，容器的本质是进程。$ pstree -gsystemd(1)-+-accounts-daemon(1984)-+-{gdbus}(1984) | `-{gmain}(1984) |-acpid(2044)

2022-05-26 10:56:09 202

原创容器化技术简介

容器其实是一种沙盒技术。顾名思义，沙盒就是能够像一个集装箱一样，把你的应用“装”起来的技术。这样，应用与应用之间，就因为有了边界而不至于相互干扰；而被装进集装箱的应用，也可以被方便地搬来搬去。容器技术的核心功能，就是通过约束和修改进程的动态表现，从而为其创造出一个“边界”。Cgroups 技术是用来制造约束的主要手段，而 Namespace 技术则是用来修改进程视图的主要方法。创建容器例子：$ docker run -it busybox /bin/sh创建容器含义：请帮我启动一个

2022-05-25 16:02:24 1121

原创物联网实验补充知识点

BLE 设备可以在 4 种模式下工作1、广播模式（Broadcaster），这里特指单纯的广播模式。这种模式下设备不可以被连接，只能够以一定的时间间隔把数据广播出来，供其他设备使用，比如手机扫描处理。蓝牙 Beacon 设备就是工作在这种模式。2、从机模式（Peripheral），这种模式下设备仍然可以广播数据，同时也可以被连接。建立连接后，双方可以进行双向通信。比如你用手机连接一个具有蓝牙功能的体温计，这时体温计就是从机（Peripheral）。3、主机模式（Central），这种模式下设备不

2022-05-25 14:44:36 692

原创智能家居平台

智能家居平台智能家居平台来说好了，它给各种智能家居产品提供了一个统一的接入系统，让用户可以管理和控制产品，同时也为各种智能家居产品之间的联动提供了条件。如果没有智能家居平台，那么各种智能家居产品就是一个个孤立的单品，既不能远程控制，也不能实现联动功能。如果你买过小米的智能产品，应该接触过小米的米家平台，它就是一个典型的智能家居平台。国内类似的还有阿里巴巴的天猫精灵、京东微联和海尔 U+ 等。国外知名的智能家居平台有苹果的 Apple HomeKit、亚马逊的 Amazon Echo 和谷歌的 Googl

2022-05-25 12:44:45 861

原创物联网的网关

物联网网关：设备和云平台之间的桥梁物联网中跟设备有关的几个技术点，包括物模型、设备的零配置组网、设备进行网络通信要用到的 MQTT 协议等。但是，并不是所有的设备都能直接接入互联网，直接跟云平台通信。比如智能家居中的一些传感器，它们使用的通信技术是 BLE 或者 ZigBee，本身连 IP 地址都没有。那么，这样的设备要怎么联网呢？物联网网关正在成为整个物联网体系中不可或缺的角色。它作为物联网设备与云平台之间的桥梁，变得越来越重要。协议转换：搭建桥梁的关键物联网网关凭什么能搭建这座桥梁呢？奥秘就

2022-05-25 11:40:34 7294 2

原创 MQTT通信协议

体验MQTT1、安装hbmqtt(pip3 install hbmqtt)2、hbmqtt_sub 和 hbmqtt_pub:hbmqtt_sub 可以充当订阅者的角色；hbmqtt_pub 可以作为消息的发布者。3、订阅者和发布者之间的经纪人，也就是 MQTT Broker，我们使用 Eclipse 免费开放的在线 Broker 服务。打开链接，你可以看到关于端口的介绍信息，加密和非加密方式都支持，而且还有基于 Websocket 的实现，这对基于前端网页的应用来说是非常有利的。4、先

2022-05-23 20:07:18 1385

原创物模型定义及设备如何配网

什么是物模型物模型是物理世界的实体东西的一个抽象，是进行数字化描述后，用于数字世界的数字模型。这么说可能有点绕，更直接一点说就是，物模型是使用计算机可以理解的语言，说清楚这个产品是什么、能做什么事情，以及可以提供哪些信息。而抽象就是要提取出产品的共同特征，形成模型。以智能灯为例，不同的灯，尽管规格不同，但它们的属性是相似，比如都有开关状态的属性，功能逻辑也相仿。我们可以将这些特征标准化，形成智能灯的物模型。反过来，物模型也规约了设备的功能。新增加的设备，如果是同一类型的，在设计、研发中，会遵循相同的

2022-05-23 19:44:33 4426

原创物联网的基础

开源指令集芯片-RISC-V实验环境的构建（基于阿里云的物联网开放平台飞燕-平头哥支持RISC指令集定义物模型和APP功能基于MQTT协议进行控制物联网技术成熟度物联网技术知识体系互联网人和信息关系物联网人和信息关系物联网的通信技术协议无线通信的技术4个概念：频段、信道、信道带宽、传输速率WIFI的版本和差异WIFI的一键配网技术难点不同通信协议的应用范围和差异网络协议物...

2022-05-23 16:14:59 571

原创 Clickhouse-高级

Clickhouse使用场景列式存储、数据压缩、向量化执行、支持标准 SQL、支持 20 多张表引擎、支持多线程与分布式、多主架构、交互式查询、数据分片与分布式查询等ClickHouse 适合 OLAP 数据分析类的场景，数据体量越大，ClickHouse 的优势越大。ClickHouse 不适合以下场景： 1) ClickHouse 不支持事务，事务场景不适合 2) 不适合根据主键进行行粒度查询或删除场景（支持但不建议）ClickHouse集群安装1）这里选择 node1、node2

2022-04-05 21:50:13 4355

原创运维管理工具

CMDB：工具库：基础库流程库：定时任务文件上传资源巡检用户管理监控大盘工单管理云管监控功能：支持接入云上监控+自主监控+业务监控告警的升级、抑制、转工单、故障自愈稳定费用效率...

2022-03-23 20:51:34 926

原创 ClickHouse第五讲-CKSQL语法

SQLDDL操作DDL 语言中修改表结构仅支持 Merge 表引擎、Distributed 表引擎及 MergeTree 家族的表引擎,SQL 中的库、表、字段严格区分大小写。创建数据库CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster] [ENGINE = engine(...)] 例子：create database if not exists test_db;查看数据库SHOW DATABASE

2022-03-11 11:17:27 3110

原创 ClickHouse第四讲-表引擎

MySQL 的数据表有 InnoDB 和 MyISAM 存储引擎，不同的存储引擎提供不同的存储机制、索引方式等功能，也可以称之为表类型。在 ClickHouse 中也有表引擎。表引擎在 ClickHouse 中的作用十分关键，直接决定了数据如何存储和读取、是否支持并发读写、是否支持 index 索引、支持的 query 种类、是否支持主备复制等。 ClickHouse 提供了大约 28 种表引擎，各有各的用途，比如有 Log 系列用来做小表数据分析，MergeTree 系列用..

2022-03-05 20:05:32 1011

原创 Clickhouse第三讲-数据库引擎

ClickHouse 中支持在创建数据库时指定引擎，目前比较常用的两种引擎为默认引擎和 MySQL 数据库引擎。 Ordinary默认数据库引擎Ordinary 就是 ClickHouse 中默认引擎，如果不指定数据库引擎创建的就是 Ordinary 数据库引擎，在这种数据库下面可以使用任意表引擎。创建时需要注意， Ordinary 首字母需要大写，不然会抛出异常#在 ClickHouse 中创建数据库 test1,指定数据库引擎为 Ordinary node1 :) creat

2022-03-05 18:08:14 1329

原创 Clickhouse第二讲-CK数据类型

Clickhouse支持的数据类型在 system.data_type_families 表中检查数据类型名称以及是否区分大小写。这个表中存储了 ClickHouse 支持的所有数据类型。select * from system.data_type_families limit 10;┌─name────────────────────────────┬─case_insensitive─┬─alias_to────┐│ Polygon ...

2022-03-05 16:20:05 3551

原创 Clickhouse第一讲-CK概述

常用的数据架构OLAP场景绝大多数是读请求。数据以相当大的批次(> 1000 行)更新，而不是单行更新;或者根本没有更新。已添加到数据库的数据不能修改。对于读取，从数据库中提取相当多的行，但只提取列的一小部分。宽表，即每个表包含着大量的列。查询相对较少(通常每台服务器每秒查询数百次或更少)。对于简单查询，允许延迟大约 50 毫秒。列中的数据相对较小：数字和短字符串(例如，每个 URL 60 个字节)。  处理单个查询时需要高吞吐量(每台服务器每秒可达数十亿行)...

2022-03-04 21:52:06 8723

原创 Maven-介绍

IDEA集成Mavenconf目录：下面有一个非常重要的配置文件--》settings.xml---》maven的核心配置文件/全局配置文件；如果没有.m2目录，自己手动执行mvn命令：mvn help:systemMaven仓库不在本机中的一切仓库，都是远程仓库：分为中央仓库和本地私服仓库远程仓库指通过各种协议如file://和http://访问的其它类型的仓库。这些仓库可能是第三方搭建的真实的远程仓库，用来提供他们的构件下载（例如repo.maven.apache.org和u.

2022-02-19 21:25:30 277

原创 GIT-分支管理

Git分支管理git status分支切换：git checkout master创建分支：git branch branch01查看分支：git branch -v分支合并：(branch01合并到master）git merge branch01创建远程仓库本地给远程仓库创建别名：git remote add originhttps://github.com/zwx198345/DevTools.git查看别名：git remote -..

2022-02-19 20:56:40 107

原创 GIT-本地命令

1、创建目录2、打开GIT终端（Git Bash Here）-右键Options3、查看版本4、清理屏幕5、设置签名6、文件提交到暂存区域git add 1.txt7、暂存区提交到内容本地库git commit -m "这是第一个文件Demo.txt" Demo.txt（1）不放在本地仓库中的文件，git是不进行管理（2）即使放在本地仓库的文件，git也不管理，必须通过add,commit命令操作才可以将内容提交到本地库。8、查看提交日志..

2022-02-19 18:14:32 328

原创 GIT-组织方式

GIT组织结构团队内部协作跨团队协作企业内网组织方案局域网环境下：可以搭建 GitLab服务器作为代码托管中心，GitLab可以自己去搭建外网环境下：可以由GitHub或者Gitee作为代码托管中心，GitHub或者Gitee是现成的托管中心，不用自己去搭建...

2022-02-19 17:17:21 381

原创 GIT-版本工具

集中化的版本控制系统：集中化的版本控制系统诸如CVS, SVN 以及Perforce 等，都有一个单一的集中管理的服务器,保存所有文件的修订版本，而协同工作的人们都通过客户端连到这台服务器,取出最新的文件或者提交更新。多年以来,这已成为版本控制系统的标准做法,这种做法带来了许多好处,现在,每个人都可以在一定程度上看到项目中的其他人正在做些什么。而管理员也可以轻松掌控每个开发者的权限，并且管理一个集中化的版本控制系统;要远比在各个客户端上维护本地数据库来得轻松容易。事分两面，有好有坏。这么做最显而易见

2022-02-19 17:09:56 84

cybtcl的博客