- 博客(104)
- 资源 (11)
- 收藏
- 关注
RSS订阅
原创 设备健康度评价实践--煤磨机
例如，当磨机关键部件的某个参数数值严重偏离标准值时，往往可以说明该部件的健康状态已经出了较大问题，如果利用常权重来进行评估，当其他指标无变化或变化不大时，就可能会掩盖该指标的消极作用，造成评价结果显示正常状态，就会丧失对磨机状态的跟踪能力。因此，这里使用变权理论来修正组合权重，让参数权重随其状态及时变化，弥补异常参数的“短板效应”。煤磨的健康状态评价原则是要求能够真实地反映磨机的健康状态，结合磨机故障特征及状态监测参数的分析，选取了易于测量、并能较好的反映磨机状态的参数，建立磨机状态层次评价模型。
2023-08-10 20:38:03
1355
原创 TimescaleDB部署教程（v1.0）
TimescaleDB部署本文安装主要分为两步：（1）PostgresSQL数据库安装（2）TimescaleDB插件安装编译（cmake）1、系统及相关版本要求操作系统： CentOS 7 64位操作系统安装程序： postgresql-10.2.tar.gzTimescale： timescaledb 1.0（只支持pgsql9.x和10.x）Timescale release_tag： 1.0.0cmake： cmake-3.10.2.tar（Timescale要求CMake
2022-03-23 11:28:40
1318
2
原创 openmetadata本地编译环境搭建
Docker 20 or higherJava JDK 17Antlr 4.9.2 - JQ - (osx) (Ubuntu)Maven 3.5.x or higher - (with Java JDK 11)Python 3.7, 3.8 or 3.9Node >=16.0.0 & Node
2024-08-06 16:34:52
1034
原创 openmetadata自定义连接器开发教程
官网教程链接：（一）创建服务类型自定义连接器类参考文档：https://docs.open-metadata.org/v1.3.x/sdk/python/build-connector/source#for-consumers-of-openmetadata-ingestion-to-define-custom-connectors-in-their-own-package-with-same-namespace1.创建自定义连接器示例：my_csv_connector.py。
2024-08-05 17:32:58
870
原创 Python 程序源码静态分析工具调研
1.Bandit：构建 AST 并使用插件检查安全问题，最初在 OpenStack 安全项目中开发，后来被重新定位到 PyCQA。主要用于扫描危险函数，支持自定义漏洞测试和扩展插件。2.Vulture：同样利用了 ast 模块生成抽象语法树，在遍历时记录已定义和使用的对象名称，最后报告未使用的对象（死代码）。还通过查找 return、break、continue、raise、不满足条件的 if 条件、while 条件来检测不可达的代码。
2023-08-11 10:42:46
432
原创 简单线性回归评估指标+R Squared
---------------------------分子分母取平均值------------------------------：（平方和取平均值开根号）：平均误差值。准模型： 基础模型产生错误量。使得每一个数据集尽可能的小。训练的模型： 产生的错误。：（平方和取平均值）
2023-07-12 16:39:22
1006
原创 分类模型评估指标详解（二分类、多分类、混淆矩阵）
召回率和精确率之间往往存在此消彼长的关系，当模型能找出更多的正样本时，往往也会导致将更多的负样本分类为正样本，即recall高时，precision往往较低，而precision高时，recall往往较低。对于多分类问题中的不平衡数据集，最常用的指标就是多分类版本的f- 分数。多分类f- 分数背后的想法是，对每个类别计算一个二分类f- 分数，其中该类别是正类，其他所有类别组成反类。对于多分类模型的评价方法，通常是先将其转换为多个二分类模型，分别对其进行指标计算，然后使用一些规则来把这些指标汇总起来。
2023-07-12 16:12:11
2350
原创 Mac虚拟机最新版版V17.0
Parallels Desktop v17.1.4(51567)+ Parallels Toolbox 5.5.1 (4410) PRO pd虚拟机 （支持intel）TNT破解版-非启动器版！
2022-08-01 15:59:09
45
原创 Openfaas on K8s安装部署
Openfaas on K8s安装部署使用 brew 或 curl -sL cli.openfaas.com | sudo sh 安装 faas-cli安装brewbrew install kubernetes-helm安装helm服务端tiller(3.0以上版本不需要安装)kubectl -n kube-system create sa tiller \ && kubectl create clusterrolebinding tiller \ --clu
2022-03-23 11:18:31
1749
原创 flink集群HA高可用配置解析
flink集群HA高可用配置解析flink-conf.yamljobmanager.rpc.address: hadoop01【注意。HA的需要按照机器分配】jobmanager.rpc.port: 6123jobmanager.heap.mb: 1024taskmanager.heap.mb: 1024taskmanager.numberOfTaskSlots: 2taskmanager.memory.preallocate: falseparallelism.default: 1job
2021-10-12 16:54:36
1618
原创 flink部署模式详解
flink部署模式详解1.local：本地执行适用于本地调试与测试2.standalone：主机部署分为单机集群部署和多机集群部署，只支持session模式单机模式多机模式3.yarn：yarn集群部署支持：session模式、per-job模式、application模式session模式(支持native模式–TM动态添加)per-job模式优缺点：application模式 ----todo待补充！4.Kubernetes：k8s集群
2021-10-12 16:43:46
388
原创 flink 编程模型及核心概念
flink 编程模型及核心概念抽象层级：各种分布式处理框架处理流程比较：DataSet and DataStream 批处理：DataSet 流处理：DataStreamflink编程模型：Flink程序看起来像是转换数据集合的常规程序。每个程序包含相同的基本部分：获得一个execution environment。getExecutionEnvironment()createLocalEnvironment()createRemoteEnvironment(Strin
2021-10-12 16:23:22
170
原创 flink-native模式简介
flink-native模式简介native模式：默认只启动jobmanager,之后根据job任务提交情况，动态的申请、启动taskmanager计算资源native模式支持yarn、k8s、mesos模式部署。不支持standalone模式部署
2021-10-12 11:49:06
1255
原创 flink集群运行模式
flink集群运行支持：session、per-job、application三种模式运行1.session 模式共享jobmanager和taskmanager ,所有job都在同一个runtime中运行main在客户端（deployer）上执行2.per-job 模式多个runtime,每个job独享一个jobmanaager和taskmanager ，每个job启动一个Runtimemain()在客户端（deployer）上执行session和per-job集
2021-10-12 11:20:00
668
原创 influxdb常见指令集
SELECT time,pointId,count(value) FROM “abnormal” GROUP BY pointId LIMIT 10SELECT count(“value”) FROM “abnormal” WHERE $timeFilter GROUP BY time(1d), “pointId” fill(null)SELECT count(“value”) FROM “abnormal” WHERE $timeFilter GROUP BY time(1d) fill(null)
2021-02-24 16:46:31
372
原创 kafka相关shell命令
启动kafkakafka-server-start.sh -daemon /opt/kafka_2.11-2.0.0/config/server.properties停止kafkakafka-server-stop.sh -daemon /opt/kafka_2.11-2.0.0/config/server.propertieskafka-roducer.sh --broker-list 192.168.106.199:9092 --topic dzy-test启动kafka-eager
2021-01-26 17:24:53
266
原创 Cassandra 元数据信息及获取方式
Cassandra 元数据信息及获取方式数据结构：Cluster : Cassandra 的节点实例，它可以包含多个 KeyspaceKeyspace : 用于存放 ColumnFamily 的容器，相当于关系数据库中的 Schema 或 databaseColumnFamily : 用于存放 Column 的容器，类似关系数据库中的 table 的概念SuperColumn ：它是一个特列殊的 Column, 它的 Value 值可以包函多个 ColumnColumns：Cassandra
2021-01-26 17:21:08
450
原创 cassandra元数据信息
Cassandra:元数据信息keyspace：keyspace_name：命名空间replication：复制策略userType:用户自定义UDT(数据类型)Table:keyspace_name：命名空间table_name: 表名partitionKey：主键indexes:表索引{ index_name:索引列 Kind:索引类型 options：索引配置}view:表视图clusteringColumns：排序字段clustering
2021-01-26 17:18:40
179
原创 k3s集群监控（Rancher）删除之空间(namespace)cattle-system一直为Terminating状态解决方案
故障现象使用Rancher2.0添加了k3s集群进行Kubernetes的相关web管理。因删除k3s集群监控服务：删除Rancher依赖的namespace（cattle-system），状态一直是Terminating。root@k3s:~# kubectl get namespaceNAME STATUS AGEkube-system Active 76dkube-public Active
2020-08-12 17:07:22
5101
2
原创 win数据库连接工具注册机（Navicate）
https://download.csdn.net/download/qq_37279279/112501531.安装Navicat执行navicat121_premium_cs_x64.exe2.运行注册机（1）以管理员身份运行此5.0注册机：打开注册机后1)Patch 按照下图选项选择点击Pat...
2020-07-08 17:58:47
3990
1
原创 flink 数据类型解析
flink 数据类型解析1.原生数据类型2.Tuples类型3.Cass Class类型4.POJOs类型[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PASSaVvL-1577933714146)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1571106371...
2020-01-02 10:56:16
675
原创 flink on k8s(minikube) session模式部署（HA）
安装 kubectlcurl -LO https://storage.googleapis.com/kubernetes-release/release/`curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt`/bin/linux/amd64/kubectlchmod +x ./kubectl...
2019-12-26 10:54:06
1506
原创 OPC UA常见故障信息代码
下表包含了状态接线端返回的代码的说明。infocode描述好0x00000000操作成功。不确定0x40000000值不确定，但原因不明。坏0x80000000值为坏，但原因不明。Bad_UnexpectedError0x80010000发生非预期错误。Bad_InternalError0x80020000编程或配置错误时发生内部...
2019-08-06 17:28:14
22278
14
转载 【精】CentOS7下yum安装oracle
CREATE TABLESPACE ds_tablespace DATAFILE '/data/oracle/oradata/ds/ds_tablespace.dbf' SIZE 200M AUTOEXTEND ON EXTENT MANAGEMENT LOCAL SEGMENT SPACE MANAGEMENT AUTO;一、安装前环境准备1. VMware 搭建centos7 的虚机...
2019-06-19 18:17:35
7891
10
原创 python 中常见的基本数据类型详解
python 常用数据类型str类型int 整形float浮点型bool 布尔类型list列表dict字典tuple元组complex复数byte字节串byteArray字节数组(不能修改)frozenset冻结集合NoneType(占位符)常见数据类型类表：...
2019-06-19 17:58:07
234
转载 Spark 实现简单移动平均值（SMA） - 窗口函数（Window Function
Spark 实现简单移动平均值（SMA） - 窗口函数（Window Function）原文地址：http://n3xtchen.github.io/n3xtchen/spark/2017/01/24/spark200-window-function什么是简单移动平均值简单移动平均（英语：Simple Moving Average，SMA）是某变数之前n个数值的未作加权算术平均。例如，收市...
2019-05-29 15:03:18
2079
原创 K8S常见指令
helm listhelm status 服务查看podkubectl get pod -n hollysys-projectkubectl get pods //获取所有podskubectl get services //获取所有服务创建服务（并创建端口）kubectl expose deployment/kubernetes-bootcamp --type="NodeP...
2019-05-29 15:02:18
1273
转载 zookeeper安装
zookeeper版本：zookeeper-3.4.13kakfa版本：kafka_2.11-2.0.01 环境准备在已有zookeeper集群上，部署kakfa集群。每个节点上部署一个bo’r’ke’rzookeeper集群主机信息如下：hostname ip 端口 master.hadoop.com 192.168.162.180 2181/28...
2018-11-23 17:37:17
153
原创 HBase 常见shell指令
HBase常见shell指令hbaseshell命令 描述alter修改列族（column family）模式count统计表中行的数量create创建表describe显示表相关的详细信息delete删除指定对象的值（可以为表，行，列对应的值，另外也可以指定时间戳的值）deleteall删除指定行的所有元素值disable使...
2018-11-19 10:59:31
532
转载 Java NIO中的Buffer详解
Java NIO中的Buffer用于和NIO通道进行交互。如你所知，数据是从通道读入缓冲区，从缓冲区写入到通道中的。缓冲区本质上是一块可以写入数据，然后可以从中读取数据的内存。这块内存被包装成NIO Buffer对象，并提供了一组方法，用来方便的访问该块内存。下面是NIO Buffer相关的话题列表：Buffer的基本用法 Buffer的capacity,position和limit...
2018-11-08 10:42:24
439
转载 ByteBuffer中的 clear、flip、rewind三个方法区别、以及如何使用
我在网上搜索了很多，大部分都是说针对mark、limit、capacity、position 标志量来解释的，ok！我想补充一下，从如何应用的方面来说明其含义。 例如： 1、有一个文件共有20个字符: abcdefghijklmnopqrst 2、我们声明一个char[15] buffer 大小的字符数组 Java代码 for(readChar(buffer...
2018-11-07 17:34:00
4131
转载 YARN REST API
先附官网地址查看指定队列的所有任务：GET http://<rm http address:port>/ws/v1/cluster/apps?queue=dev查看指定任务的详细信息：GET http://<rm http address:port>/ws/v1/cluster/apps/application_1326821518301_0005监控任务：...
2018-10-29 17:12:22
7808
原创 spark-submit-相关配置信息
--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. --deploy-mode DEPLOY_MODE Whether to launch the driver program locally ("client") or ...
2018-10-29 16:22:33
184
原创 github常用命令汇总
创立版本库mkdir Baiducd Baidugit initSSHssh-keygen -t -rsa -C “TaylorApril947939@gmail”（在github上new SSH，内容为id_rsa.pub）添加远程库（github上新建git仓库,选择REAMDE.md）git remote add origin git@github.com:TaylorAp...
2018-10-29 15:02:58
158
ubuntu-CDH 6.3.2完整安装包
2023-05-24
基于Apache Flink的流处理文档内容
2020-08-24
azkaban3.43.0各组件编译后的tar包
2018-08-09
azkaban 3.43自动化安装脚本
2018-06-14
java_1.8文件补充包
2018-06-11
Azkaban-2.5-linux相关tar包
2018-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人