- 博客(79)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 nginx负载均衡+RabbitMq集群及镜像队列（2）
之前是为Web应用搭建的两台服务器NLB负载均衡，不想改动,现在三台服务器搭建了RabbitMq集群及镜像队列，想通过负载均衡监听和处理队列，所以想到了nginx，nginx不光是个高性能Web服务器，还能做负载均衡提示：以下是本篇文章正文内容，下面案例可供参考记录点点滴滴。
2023-05-01 15:36:49
1720
1
原创 搭建Redis主从集群+哨兵+代理predixy
搭建了一个 Redis 服务器集群(主从复制+哨兵模式+代理），实现了主从配置和容灾部署，使得主机出现故障时，可自动进行容灾切换，现详细记录下搭建过程以及遇到的问题提示：以下是本篇文章正文内容，下面案例可供参考记录点点滴滴。
2023-04-30 20:08:11
4595
2
原创 三台Windows服务器搭建RabbitMq集群及镜像队列
消息中间件-RabbitMq集群搭建及镜像队列 (高可用性、一台宕机自动切换另一台) ，镜像队列是基于普通的集群模式的提示：以下是本篇文章正文内容，下面案例可供参考记录点点滴滴。
2023-04-27 22:10:30
1478
原创 echart图表之highcharts
前段时间公司要统计各个站的OEE机台的使用率，在网页上前端上展现OEE图表，难点在与如何将这些数据转成合理的数据展现出来提示：以下是本篇文章正文内容，下面案例可供参考发现截来的图片和系统执行出来的图，不能完全一模一样，估计是使用脚本的版本不一样导致。
2023-03-15 21:28:36
3094
原创 机器人操作系统ROS/ROS2(1)
前天突然发现还有个机器人操作系统，故而引起自己的兴趣，研究下这是什么玩意。提示：以下是本篇文章正文内容，下面案例可供参考记录点点滴滴。
2023-01-07 15:55:20
2841
5
原创 GreenPlum6.x之ETL工具
GreenPlum作为一款定位为OLAP系统的分布式数据库平台，具有非常强大的ETL功能，其中存储过程和GPLoad是必须掌握的数据仓库开发工具。提示：以下是本篇文章正文内容，下面案例可供参考记录点点滴滴。
2022-11-27 10:20:30
1011
原创 GreenPlum6.x之测试数据
分布式关系型数据库集群搭建好了，试下是否如网上所述处理的数据具有高性能的优势，所以导入500万条测试数据进行简单的试下提示：以下是本篇文章正文内容，下面案例可供参考在普通数据库里500万数据使用group by统计确实比较慢，但在GreenPlum下测试觉的确实性能高。
2022-11-19 20:02:18
1013
原创 GreenPlum6.x之GPCC
Greenplum是一个关系型数据库集群，虽然在虚拟机上部署好了，但是如何能监控集群的服务器上数据库运行是否执行正常，Greenplum有个GPCC是数据库的可视化监控工具提示：以下是本篇文章正文内容，下面案例可供参考记录点点滴滴。
2022-11-19 14:20:27
799
原创 CentOS7.x部署GreenPlum6.x
之前学习hadoop为核心的平台，因为和传统数据库差异比较大，所以前段时间学习hadoop，也就是有所理解入门，虽然它扩展性强，成本低，开源生态优势，但是也出现兼容性差，查询性能不足，架构复杂等问题。最近发现了以GreenPlum为代表的MPP架构分布式关系型数据库出现，开源架构也没hadoop那么复杂，也能满足企业的分布式数据库和数据分析,GreenPlum和hadoop有些地方挺相似的提示：以下是本篇文章正文内容，下面案例可供参考。
2022-11-07 19:40:14
1150
原创 APP手机设备模拟器在线测试工具Responsinator
随着移动互联网的越来越普遍，网站做出来不能直接就全面上线，不同终端预览效果、网页性能、网页兼容性…等等都很大程度上决定了用户体验，最终决定 手机网站的成功，而且就算已经上线，也需要不断的去检测与调整。因此，我们需要一些工具来预览和测试移动网站，下面就给大家推荐一个手机网站在线预览 测试工具提示：以下是本篇文章正文内容，下面案例可供参考记录点点滴滴，本测试网址在手机横屏下布局还算正常，竖屏布局就有些局促了挤压了。
2022-10-15 14:53:08
2036
原创 vue3+springboot部署到Windows服务器
参考网上将项目部署到服务器，这里只介绍简单部署的方式。(1) 安装Nginx —— 用于部署vue(2) 安装mysql —— 数据库(3)安装jdk(4) 部署springboot项目打包vue项目将dist文件夹拷贝到Nginx的安装目录下mysql网上资料很多，就不多说配置Nginx因为现在是把vue前端交给了Nginx代理，所以这里的端口号不一定是我们在vue项目中设置的端口号。这里的端口号必须是当前服务器开放的端口号。启动Nginx打开Nginx安装路径下的命令行代码如下（示
2022-10-07 10:31:35
1671
2
原创 Python Selenium UI自动化(2)
之前写Python的办公自动化简单使用了将用户发的Excel的PO自动写入了我们IT的系统，但是后面还需要手动在操作，虽然不用在手动录入PO,但是还是要手动点击提交审批系统才能到下个节点，这次通过Selenium将自动打开浏览器模拟登陆系统并自动点击提交系统，全程不需要我手动去做任何事，全程自动化执行提示：以下是本篇文章正文内容，下面案例可供参考记录点点滴滴。
2022-10-07 09:32:23
706
原创 vue3(element-plus)+多语言切换实现
我们公司的客户有国内客户和国外客户，需要个国际化系统，要设置多语言，所以针对此情况在原有的基础上增加了中英文切换功能，Vue3采用的是vue-i18n来实现国际化的功能。提示：以下是本篇文章正文内容，下面案例可供参考记录点点滴滴。...
2022-08-28 18:06:08
5157
原创 vue3(element-plus)+springboot
最近公司想开发个客户需求变更发布系统，以前都是邮件飞来飞去，无记可寻，容易出现失误，要让客户变更要求系统化数字化，这样的数据可以进行分类统计分析，来更好的服务客户,我想使用vue3(element-plus)前后端分离的来实现此系统，故此学习了下vue框架提示：以下是本篇文章正文内容，下面案例可供参考记录点点滴滴。
2022-08-22 21:30:09
3256
1
原创 Python之办公自动化SFTP
公司里B2B是通过WinSCP里SFTP与客户进行数据传输,WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端,本想偷个懒拿同事的WinSCP的SFTP代码给总部传数据，同事给的代码调用WinSCP就是执行不成功，不知道WinSCP是否有新旧版本兼容，还是必须两边的操作系统都需要是Windows环境呢，最后只能硬着头皮查资料重新写了一个。提示以下是本篇文章正文内容，下面案例可供参考记录点点滴滴httpshttpshttpshttps。.........
2022-07-31 18:20:57
1349
原创 外围系统调用SAP的WebAPI接口
公司要换新的SAP,之前调用SAP的接口都是通过WebService方式，现在新的SAP需要换成WebAPI接口提示以下是本篇文章正文内容，下面案例可供参考记录点点滴滴。
2022-07-23 14:04:40
1837
原创 DELL R720 2U 服务器上安装windows server 2016
最近本想买台台式机，在网上一看二手服务器还比较划算，就在网上订购台二手DELLR7202U服务器放在家里玩玩，到家还没几天就被我把预装的系统给搞崩了，服务器系统也没搞一键恢复功能，只能重新装系统，在商家指导下自己亲自上阵搞系统提示以下是本篇文章正文内容，下面案例可供参考记录点点滴滴httpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttps。...
2022-07-17 18:13:14
3472
2
原创 RMS TO EAP通过MQTT简单实现(2)
前面只是简单的介绍下RMS,EAP和MQTT的东西，下面简单说下通过MQTT来使RMS TO EAP的实现系统结构1、Web客户端：连接消息队列服务器2、中间件消息队列服务器3、RMS端：连接2个模拟设备和连接消息队列服务器4、启动模拟设备端流程走向：Web客户端：通过MQTT发送指令请求到RMSRMS : RMS监听到请求 发送指令到 设备设备：设备收到指令 返回给RMSRMS:将设备返回的结果 通过MQTT返回给Web客户端设置的DDS和AOI两个模拟设备软件启动DDS模拟设备启动
2022-07-09 15:46:21
420
1
原创 RMS TO EAP通过MQTT简单实现
EAP是MES与设备的桥梁,EAP通过SECS国际标准协议与机台进行数据传输。我们公司RMS也是通过SECS国际标准协议与机台进行数据传输，只是多了本该在MES上的业务逻辑，放到了RMS上，架构上没这么使用EAP这样分工明确，RMS把业务逻辑拿掉改造下也能成为EAP,我就简单试试1、使用消息队列MES和其他系统通过消息队列来发送信息给RMS，RMS收到消息在通过SECS\GEM 与半导体设备通讯优点：1、对系统进行解耦，提高响应速度，系统功能向内聚合，对外开放；2、对系统异步功能进行剥离，减少功能耦
2022-07-03 12:16:31
820
原创 Hadoop在生产环境中简单的设想
在我们半导体公司，当然生产环境中主要与半导体设备打交道，各个工艺流程都需要设备生产，为管控半导体设备生产就有了RMS远程操作设备来防呆减少不必要的人为失误，RMS主要功能管控设备的Recipe程序防止使用错误的程序，其次与设备交互，监控设备的状态、报警、电流等生产参数，机器没报警但生产参数出现异常时及时暂停设备的继续生产，检查纠正问题后再进行有效生产分析RMS系统如何加入Hadoop：1、设备Recipe程序的存储，将Recipe程序上传到HBase/HDFSHBase的优势:1)HBase 可以很好
2022-06-16 19:55:52
361
原创 Hadoop环境搭建学习之Spark SQL简单使用
用户需要从不同数据源操作结构化、半结构化和非结构化的各种数据。其次，用户需要执行高级分析，而关系数据库已经不能满足要求。Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。因为关系数据库已经很流行，而且关系数据库在大数据时代已经不能满足要求。首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据。其次，用户需要执行高级分析，比如机器学习和图像处理。在实际大数据应用中，经常需要融合关系查询和复杂分析算法（比如机器学习或图像处理），
2022-06-12 16:44:25
717
原创 Hadoop环境搭建学习之使用Idea提交Java程序到spark集群(10)
Hadoop Spark HA环境搭建好了，试着创建程序提交到Spark集群执行简单计算统计需求:单词计数执行步骤：1、远程取两个文件2、获取两个文件内的数据3、将文件内的数据进行扁平化4、将相同单词进行分组5、聚合计算每个单词的个数资源列表虚拟机启动Hadoop HA启动Spark HA编写多个测试数据.txt文件，文件名随意，将文本文件上传至hdfs的/datas目录以1.txt、2.txt为例将测试数据传到hdfs的/input/datas目录hadoop fs -mkdir /
2022-06-04 17:42:41
463
原创 Python之办公自动化简单使用
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Python如何自动化？二、使用步骤1.程序结构2.引入库3.Python读取PO数据4.config配置5.models实体-工具代码生成6.SQLAlchemy数据访问DB7.主程序执行总结前言提示：这里可以添加本文要记录的大概内容：老板分配了点杂七杂八的工作，其中有项工作内容是采购买完在SAP里出PO后，会将他们出的PO的单发给各个部门，我们会将出的PO要手动录到另外系统里接着去下面的审批和执行，从Excel.
2022-05-29 09:36:38
809
原创 Hadoop环境搭建学习之Phoenix设置SCHEMA(9)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、SCHEMA是什么？二、使用步骤1. SCHEMA的启用2.SCHEMA操作3.SCHEMA关闭4.在SCHEMA下创建表5.DBeaver连接Phoenix总结前言提示：这里可以添加本文要记录的大概内容：1、SCHEMA 的启用、操作、关闭 2、DBeaver连接Phoenix提示：以下是本篇文章正文内容，下面案例可供参考一、SCHEMA是什么？Phoenix 中将 HBase 的 namespace 叫.
2022-05-22 16:03:36
1007
原创 Hadoop环境搭建学习之Phoenix整合HBase(8)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Phoenix是什么？二、使用步骤1.环境准备2.集群规划2.Phoenix安装3.Phoenix Shell 表操作总结前言提示：这里可以添加本文要记录的大概内容：HBase 不支持 SQL 语法，使用非常不便，所以诞生丁 Phoenix。 Phoenix 是通过一个嵌人的 JDBC驱动存储在HBase 中的数据的查询。Phoenix 可以让开发者在 HBase数据集上使用 SQL 查询。一、Phoenix是什.
2022-05-15 13:20:21
794
原创 Hadoop环境搭建学习之Spark HA（7）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Spark是什么？二、使用步骤1.环境准备2.集群规划3.Spark HA部署安装启动Spark HA浏览器查看 Spark 的 Web UI4.# 测试 Spark 集群总结前言提示：这里可以添加本文要记录的大概内容：Hadoop的实时数据通过Spark Streaming读取kafka，需要先了解下Spark,要了解Spark需要搭建Spark环境提示：以下是本篇文章正文内容，下面案例可供参考一、Spar.
2022-05-03 09:28:42
435
原创 Hadoop环境搭建学习之kafka集群（6）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、kafka集群是什么？二、使用步骤1.环境准备2.集群规划3.kafka集群部署安装4.SpringBoot集成kafka总结前言关于kafka，网上的介绍有很多，简单说就是消息中间件，大数据项目中经常使用，我们项目是用于接收日志流水数据。相比其他消息中间件RabbitMQ优势在于：（1）性能高，每秒百万级别；（2）分布式，高可用，水平扩展。提示：以下是本篇文章正文内容，下面案例可供参考一、kafka集群是.
2022-04-23 21:27:51
1821
原创 Hadoop环境搭建学习之kafka(5)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、kafka是什么？二、使用步骤1.环境准备2.单点部署安装kafka总结前言最近存放机台Recipe的磁盘空不够，里面的机台Recipe实在多，以为19年之前的不用了清空了，谁知道19年之前产线还要，一个个根据文件名筛选太麻烦了，每一段时间都要清理太烦了，在想将RMS系统与半导体设备通讯操作产生的日志信息，机台报警信息，Recipe的存储放到大数据Hadoop里，Hadoop有高容灾，高扩展等一系列优势，不需要停机就.
2022-04-14 20:45:46
1797
原创 Hadoop环境搭建学习之Hive(4)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Hive是什么？二、使用步骤1.环境准备2.集群规划2.Hive远程模式安装2.使用DBeaver图形化界面工具总结前言Hive高可用部署 HiveServer2高可用（HA）Metastore高可用（HA）基于Apache hive 3.1.2提示：以下是本篇文章正文内容，下面案例可供参考一、Hive是什么？Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并可以使用类似.
2022-04-09 11:23:48
2135
原创 Hadoop环境搭建学习之HBase(3)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Hbase是什么？二、使用步骤1.环境准备2.集群规划3.Hadoop (HA)+zookeeper安装HDFSYARN2.HBase (HA)安装总结前言Hadoop 3.3.1(HA)+Zookeeper3.4.10+Hbase2.4.4(HA)搭建高可用集群。由于一个HDFS集群由一个NameNode节点和多个DataNode节点组成，一旦NameNode节点宕机，那么HDFS将不能进行文件的上传与下载。由.
2022-04-05 09:16:34
742
原创 Hadoop环境搭建学习之zookeeper(2)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、zookeeper是什么？二、使用步骤1.所用的环境及软件2.集群服务器规划3.zookeeper分布式集群4.zookeeper+Hadoop配置5.启动HA集群总结前言`前天看公司的项目大数据的架构，里面除了最基本的Hadoop，还用了zookeeper,Hbase,kafka等第三方的组件，我就试着重新搭建下Hadoop里加入zookeeper，学习下这个组件主要用处提示：以下是本篇文章正文内容，下面案例可.
2022-03-26 16:17:23
2011
原创 Python之pandas的简单使用
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.开发工具2.详细代码总结前言前天在给用户通过SQL操作数据时，由于数据过多超过10万以上的数据，在DB直接弄出来挺费劲，发现Python里这pandas工具做数据还是挺管用的，几十万的数据Python轻松搞定，学习了下pandas使用提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分.
2022-03-19 13:34:58
11013
原创 Hadoop环境搭建学习(1)
文章目录前言一、Hadoop是什么？二、使用步骤1.所需环境及软件2.测试集群服务器规划3.前置软件安装或者准备工作4.安装Hadoop总结前言`最近大数据又兴起了，我们公司也入了大数据的项目，大数据这玩意范围广，涉及到的知识也不局限一个方面，国内的大数据平台，基本上都是基于Hadoop的这框架而衍生来的，所以Hadoop是基础提示：以下是本篇文章正文内容，下面案例可供参考一、Hadoop是什么？Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架
2022-03-19 13:07:08
2543
1
原创 Python之数据库(表)对应SQLAlchemy模型
文章目录前言一、SQLAlchemy是什么？二、使用步骤1.引入库2.代码生成3.代码结构4.如何在windows服务器上执行定时任务总结前言最近想在服务器上用Python搞个定时从Oracle获取对应的数据，其他语言都有ORM不用编写SQL提示：以下是本篇文章正文内容，下面案例可供参考一、SQLAlchemy是什么？SQLAlchemy 是 Python 著名的 ORM 工具包。通过 ORM，开发者可以用面向对象的方式来操作数据库，不再需要编写 SQL 语句。二、使用步骤1.引入库Py
2022-03-05 15:20:42
1489
原创 RMS数据采集分布式架构
文章目录前言一、数据采集分布式架构二、使用步骤1.API接口2.JWT安全验证3.RabbitMQ总结前言客户要求将Saw的暴露量，Chuck table真空值，电流值，handle的部件参数等关键信息需要释放出来，RMS抓取后，后台监控，涉及到前道和后道的所有的Saw机器实时的采集数据一、数据采集分布式架构1、提供API数据采集接口供RMS调用2、接口JWT安全验证(基于token的认证)3、通过RabbitMQ来处理高并发，可靠性数据传输和存储数据二、使用步骤1.API接口通过j
2022-01-29 10:44:06
2515
原创 wireshark简单使用抓包分析
前几天供应商的机器与我们公司的RMS软件无法连接上，使用wireshark这软件进行分析截取网络数据包，并查看显示数据包详细信息文章目录前言一、wireshark是什么？二、wireshark使用步骤1.WireShark主界面2.WireShark抓包界面3.数据包详细信息4.TCP包的具体内容5.TCP三次握手过程总结前言WireShark是非常流行的网络封包分析工具，可以截取各种网络数据包，并显示数据包详细信息。常用于开发测试过程中各种问题定位一、wireshark是什么？wiresh
2022-01-05 21:26:13
2261
原创 Python之Celery定时任务
文章目录前言一、Celery定时任务是什么？二、使用步骤1.代码结构2.启动定时任务3.执行结果总结前言Celery在python中的应用除了实现异步任务（async task)外也可以执行定时任务(beat)一、Celery定时任务是什么？Celery默认任务单元由任务生产者触发,但有时可能需要其自动触发,而Beat进程正是负责此类任务,能够自动触发定时/周期性任务.Celery 进行周期任务也很简单，只需要在配置中配置好周期任务，然后在运行一个周期任务触发器(beat)即可,具体网上看
2021-12-12 09:33:55
3548
1
原创 Python之Celery小试
最近想了解下Python celery原理及运行流程，网上查看并练习了下文章目录前言一、Celery是什么？二、使用步骤1. 运行环境2.引入库3.启动celery4.调用添加异步任务5.项目结构总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、Celery是什么？Celery是实时处理和任务调度的分布式任务队列。主要应
2021-12-05 14:19:15
781
1
原创 Putty控制TPYBorad(MicroPython)
文章目录前言一、Putty是什么？二、Putty 控制 TPYBorad1.下载Putty软件2.通过USB数据线将TPYBorad与PC相连3.打开Putty软件4.运行代码总结前言MicroPython 交互式解释器模式（又称REPL）,可以通过MicroPython交互式解释器直接可以执行Python代码，单片机上就会立即有反应一、Putty是什么？Putty是一个Telnet、SSH、rlogin、纯TCP以及串行接口连接软件.可以通过Putty 来控制 TPYBorad，打开Micro
2021-11-29 21:05:35
1101
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人