![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Java
文章平均质量分 77
panda_225400
这个作者很懒,什么都没留下…
展开
-
大数据ETL工具Kettle
记录点滴滴,这ETL工具还支持hadoop Hbase,原创 2023-06-12 21:57:52 · 1306 阅读 · 0 评论 -
nginx负载均衡+RabbitMq集群及镜像队列(2)
之前是为Web应用搭建的两台服务器NLB负载均衡,不想改动,现在三台服务器搭建了RabbitMq集群及镜像队列,想通过负载均衡监听和处理队列,所以想到了nginx,nginx不光是个高性能Web服务器,还能做负载均衡提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2023-05-01 15:36:49 · 1523 阅读 · 1 评论 -
搭建Redis主从集群+哨兵+代理predixy
搭建了一个 Redis 服务器集群(主从复制+哨兵模式+代理),实现了主从配置和容灾部署,使得主机出现故障时,可自动进行容灾切换,现详细记录下搭建过程以及遇到的问题提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2023-04-30 20:08:11 · 4291 阅读 · 2 评论 -
三台Windows服务器搭建RabbitMq集群及镜像队列
消息中间件-RabbitMq集群搭建及镜像队列 (高可用性、一台宕机自动切换另一台) ,镜像队列是基于普通的集群模式的提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2023-04-27 22:10:30 · 1356 阅读 · 0 评论 -
GreenPlum6.x之ETL工具
GreenPlum作为一款定位为OLAP系统的分布式数据库平台,具有非常强大的ETL功能,其中存储过程和GPLoad是必须掌握的数据仓库开发工具。提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2022-11-27 10:20:30 · 903 阅读 · 0 评论 -
GreenPlum6.x之测试数据
分布式关系型数据库集群搭建好了,试下是否如网上所述处理的数据具有高性能的优势,所以导入500万条测试数据进行简单的试下提示:以下是本篇文章正文内容,下面案例可供参考在普通数据库里500万数据使用group by统计确实比较慢,但在GreenPlum下测试觉的确实性能高。原创 2022-11-19 20:02:18 · 859 阅读 · 0 评论 -
CentOS7.x部署GreenPlum6.x
之前学习hadoop为核心的平台,因为和传统数据库差异比较大,所以前段时间学习hadoop,也就是有所理解入门,虽然它扩展性强,成本低,开源生态优势,但是也出现兼容性差,查询性能不足,架构复杂等问题。最近发现了以GreenPlum为代表的MPP架构分布式关系型数据库出现,开源架构也没hadoop那么复杂,也能满足企业的分布式数据库和数据分析,GreenPlum和hadoop有些地方挺相似的提示:以下是本篇文章正文内容,下面案例可供参考。原创 2022-11-07 19:40:14 · 983 阅读 · 0 评论 -
APP手机设备模拟器在线测试工具Responsinator
随着移动互联网的越来越普遍,网站做出来不能直接就全面上线,不同终端预览效果、网页性能、网页兼容性…等等都很大程度上决定了用户体验,最终决定 手机网站的成功,而且就算已经上线,也需要不断的去检测与调整。因此,我们需要一些工具来预览和测试移动网站,下面就给大家推荐一个手机网站在线预览 测试工具提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴,本测试网址在手机横屏下布局还算正常,竖屏布局就有些局促了挤压了。原创 2022-10-15 14:53:08 · 1981 阅读 · 0 评论 -
vue3+springboot部署到Windows服务器
参考网上将项目部署到服务器,这里只介绍简单部署的方式。(1) 安装Nginx —— 用于部署vue(2) 安装mysql —— 数据库(3)安装jdk(4) 部署springboot项目打包vue项目将dist文件夹拷贝到Nginx的安装目录下mysql网上资料很多,就不多说配置Nginx因为现在是把vue前端交给了Nginx代理,所以这里的端口号不一定是我们在vue项目中设置的端口号。这里的端口号必须是当前服务器开放的端口号。启动Nginx打开Nginx安装路径下的命令行代码如下(示原创 2022-10-07 10:31:35 · 1640 阅读 · 1 评论 -
Python Selenium UI自动化(2)
之前写Python的办公自动化简单使用了将用户发的Excel的PO自动写入了我们IT的系统,但是后面还需要手动在操作,虽然不用在手动录入PO,但是还是要手动点击提交审批系统才能到下个节点,这次通过Selenium将自动打开浏览器模拟登陆系统并自动点击提交系统,全程不需要我手动去做任何事,全程自动化执行提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2022-10-07 09:32:23 · 569 阅读 · 0 评论 -
vue3(element-plus)+多语言切换实现
我们公司的客户有国内客户和国外客户,需要个国际化系统,要设置多语言,所以针对此情况在原有的基础上增加了中英文切换功能,Vue3采用的是vue-i18n来实现国际化的功能。提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。...原创 2022-08-28 18:06:08 · 4821 阅读 · 0 评论 -
vue3(element-plus)+springboot
最近公司想开发个客户需求变更发布系统,以前都是邮件飞来飞去,无记可寻,容易出现失误,要让客户变更要求系统化数字化,这样的数据可以进行分类统计分析,来更好的服务客户,我想使用vue3(element-plus)前后端分离的来实现此系统,故此学习了下vue框架提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2022-08-22 21:30:09 · 2956 阅读 · 1 评论 -
外围系统调用SAP的WebAPI接口
公司要换新的SAP,之前调用SAP的接口都是通过WebService方式,现在新的SAP需要换成WebAPI接口提示以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2022-07-23 14:04:40 · 1667 阅读 · 0 评论 -
Hadoop在生产环境中简单的设想
在我们半导体公司,当然生产环境中主要与半导体设备打交道,各个工艺流程都需要设备生产,为管控半导体设备生产就有了RMS远程操作设备来防呆减少不必要的人为失误,RMS主要功能管控设备的Recipe程序防止使用错误的程序,其次与设备交互,监控设备的状态、报警、电流等生产参数,机器没报警但生产参数出现异常时及时暂停设备的继续生产,检查纠正问题后再进行有效生产分析RMS系统如何加入Hadoop:1、设备Recipe程序的存储,将Recipe程序上传到HBase/HDFSHBase的优势:1)HBase 可以很好原创 2022-06-16 19:55:52 · 259 阅读 · 0 评论 -
Hadoop环境搭建学习之Spark SQL简单使用
用户需要从不同数据源操作结构化、半结构化和非结构化的各种数据。其次,用户需要执行高级分析,而关系数据库已经不能满足要求。Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。因为关系数据库已经很流行,而且关系数据库在大数据时代已经不能满足要求。首先,用户需要从不同数据源执行各种操作,包括结构化、半结构化和非结构化数据。其次,用户需要执行高级分析,比如机器学习和图像处理。在实际大数据应用中,经常需要融合关系查询和复杂分析算法(比如机器学习或图像处理),原创 2022-06-12 16:44:25 · 594 阅读 · 0 评论 -
Hadoop环境搭建学习之使用Idea提交Java程序到spark集群(10)
Hadoop Spark HA环境搭建好了,试着创建程序提交到Spark集群执行简单计算统计需求:单词计数执行步骤:1、远程取两个文件2、获取两个文件内的数据3、将文件内的数据进行扁平化4、将相同单词进行分组5、聚合计算每个单词的个数资源列表虚拟机启动Hadoop HA启动Spark HA编写多个测试数据.txt文件,文件名随意,将文本文件上传至hdfs的/datas目录以1.txt、2.txt为例将测试数据传到hdfs的/input/datas目录hadoop fs -mkdir /原创 2022-06-04 17:42:41 · 452 阅读 · 0 评论 -
Python之办公自动化简单使用
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Python如何自动化?二、使用步骤1.程序结构2.引入库3.Python读取PO数据4.config配置5.models实体-工具代码生成6.SQLAlchemy数据访问DB7.主程序执行总结前言提示:这里可以添加本文要记录的大概内容:老板分配了点杂七杂八的工作,其中有项工作内容是采购买完在SAP里出PO后,会将他们出的PO的单发给各个部门,我们会将出的PO要手动录到另外系统里接着去下面的审批和执行,从Excel.原创 2022-05-29 09:36:38 · 634 阅读 · 0 评论 -
Hadoop环境搭建学习之Phoenix设置SCHEMA(9)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、SCHEMA是什么?二、使用步骤1. SCHEMA的启用2.SCHEMA操作3.SCHEMA关闭4.在SCHEMA下创建表5.DBeaver连接Phoenix总结前言提示:这里可以添加本文要记录的大概内容:1、SCHEMA 的启用、操作、关闭 2、DBeaver连接Phoenix提示:以下是本篇文章正文内容,下面案例可供参考一、SCHEMA是什么?Phoenix 中将 HBase 的 namespace 叫.原创 2022-05-22 16:03:36 · 985 阅读 · 0 评论 -
Hadoop环境搭建学习之Phoenix整合HBase(8)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Phoenix是什么?二、使用步骤1.环境准备2.集群规划2.Phoenix安装3.Phoenix Shell 表操作总结前言提示:这里可以添加本文要记录的大概内容:HBase 不支持 SQL 语法,使用非常不便,所以诞生丁 Phoenix。 Phoenix 是通过一个嵌人的 JDBC驱动存储在HBase 中的数据的查询。Phoenix 可以让开发者在 HBase数据集上使用 SQL 查询。一、Phoenix是什.原创 2022-05-15 13:20:21 · 660 阅读 · 0 评论 -
Hadoop环境搭建学习之Spark HA(7)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Spark是什么?二、使用步骤1.环境准备2.集群规划3.Spark HA部署安装启动Spark HA浏览器查看 Spark 的 Web UI4.# 测试 Spark 集群总结前言提示:这里可以添加本文要记录的大概内容:Hadoop的实时数据通过Spark Streaming读取kafka,需要先了解下Spark,要了解Spark需要搭建Spark环境提示:以下是本篇文章正文内容,下面案例可供参考一、Spar.原创 2022-05-03 09:28:42 · 260 阅读 · 0 评论 -
Hadoop环境搭建学习之kafka集群(6)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、kafka集群是什么?二、使用步骤1.环境准备2.集群规划3.kafka集群部署安装4.SpringBoot集成kafka总结前言关于kafka,网上的介绍有很多,简单说就是消息中间件,大数据项目中经常使用,我们项目是用于接收日志流水数据。相比其他消息中间件RabbitMQ优势在于:(1)性能高,每秒百万级别;(2)分布式,高可用,水平扩展。提示:以下是本篇文章正文内容,下面案例可供参考一、kafka集群是.原创 2022-04-23 21:27:51 · 1678 阅读 · 0 评论 -
Hadoop环境搭建学习之kafka(5)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、kafka是什么?二、使用步骤1.环境准备2.单点部署安装kafka总结前言最近存放机台Recipe的磁盘空不够,里面的机台Recipe实在多,以为19年之前的不用了清空了,谁知道19年之前产线还要,一个个根据文件名筛选太麻烦了,每一段时间都要清理太烦了,在想将RMS系统与半导体设备通讯操作产生的日志信息,机台报警信息,Recipe的存储放到大数据Hadoop里,Hadoop有高容灾,高扩展等一系列优势,不需要停机就.原创 2022-04-14 20:45:46 · 1667 阅读 · 0 评论 -
Hadoop环境搭建学习之Hive(4)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Hive是什么?二、使用步骤1.环境准备2.集群规划2.Hive远程模式安装2.使用DBeaver图形化界面工具总结前言Hive高可用部署 HiveServer2高可用(HA)Metastore高可用(HA)基于Apache hive 3.1.2提示:以下是本篇文章正文内容,下面案例可供参考一、Hive是什么?Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射成一张数据表,并可以使用类似.原创 2022-04-09 11:23:48 · 2032 阅读 · 0 评论 -
Hadoop环境搭建学习之HBase(3)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Hbase是什么?二、使用步骤1.环境准备2.集群规划3.Hadoop (HA)+zookeeper安装HDFSYARN2.HBase (HA)安装总结前言Hadoop 3.3.1(HA)+Zookeeper3.4.10+Hbase2.4.4(HA)搭建高可用集群。由于一个HDFS集群由一个NameNode节点和多个DataNode节点组成,一旦NameNode节点宕机,那么HDFS将不能进行文件的上传与下载。由.原创 2022-04-05 09:16:34 · 565 阅读 · 0 评论 -
Hadoop环境搭建学习之zookeeper(2)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、zookeeper是什么?二、使用步骤1.所用的环境及软件2.集群服务器规划3.zookeeper分布式集群4.zookeeper+Hadoop配置5.启动HA集群总结前言`前天看公司的项目大数据的架构,里面除了最基本的Hadoop,还用了zookeeper,Hbase,kafka等第三方的组件,我就试着重新搭建下Hadoop里加入zookeeper,学习下这个组件主要用处提示:以下是本篇文章正文内容,下面案例可.原创 2022-03-26 16:17:23 · 1835 阅读 · 0 评论 -
wireshark简单使用抓包分析
前几天供应商的机器与我们公司的RMS软件无法连接上,使用wireshark这软件进行分析截取网络数据包,并查看显示数据包详细信息文章目录前言一、wireshark是什么?二、wireshark使用步骤1.WireShark主界面2.WireShark抓包界面3.数据包详细信息4.TCP包的具体内容5.TCP三次握手过程总结前言WireShark是非常流行的网络封包分析工具,可以截取各种网络数据包,并显示数据包详细信息。常用于开发测试过程中各种问题定位一、wireshark是什么?wiresh原创 2022-01-05 21:26:13 · 2235 阅读 · 0 评论 -
rabbitmq使用mqtt协议
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、rabbitmq是什么?二、mqtt协议是什么?三、使用步骤1.引入库2.读入数据总结前言在网上学习物联网,发现有人可以用 springboot + rabbitmq可以搭建物联网(IOT)平台,rabbitmq 不是消息队列吗,原来rabbitmq有两种协议,消息队列是用的AMQP协议,而用在智能硬件中的是MQTT协议。一、rabbitmq是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解原创 2021-10-28 21:10:49 · 19420 阅读 · 1 评论 -
SECS/GSM Blade Exposed
文章目录前言一、Blade Exposed是什么?二、操作步骤1.查看手册2.开启事件3.定义报告4.设置关联5.接收机器的事件总结前言客户用户要求获取机器上的Blade Exposed的数值,并进行前后差查的卡控,防止切坏芯片提示:以下是本篇文章正文内容,下面案例可供参考一、Blade Exposed是什么?Blade Exposed就是机器上的在切割芯片时伸出刀片的高度。每次机台测刀高时,通过RMS来监听读取机台上Z1 & Z2 的Blade exposed 数值二、操作..原创 2021-10-16 09:25:27 · 258 阅读 · 0 评论 -
SECS/GSM 收集事件消息
文章目录前言一、如何收集事件消息?二、使用步骤1.查看设备的手册2.接受机器推送的消息3.解析消息4.更新RMS的状态总结前言今日在开发RMS时,发现机器产品做完全自动结束后,RMS没反馈当前机器的状态,还显示PD模式,可以通收集事件消息来接受机器的推送的指令提示:以下是本篇文章正文内容,下面案例可供参考一、如何收集事件消息?S6F11:设备->主机,此指令是设备主动来发送给客户端的通讯指令,客户端通过此指令来收集事件消息。如果没有链接任何报告,则消息将只包含收集事件的ID。如果一个或原创 2021-10-14 20:18:20 · 1019 阅读 · 0 评论 -
Springboot使用slf4j记录日志
文章目录前言一、slf4j日志框架是什么?二、使用步骤1.引用依赖2.yml文件中配置3.如何使用![在这里插入图片描述](https://img-blog.csdnimg.cn/bbec0e392f2f4ae19c1250f4df6c6a72.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAcGFuZGFfMjI1NDAw,size_17,color_FFFFFF,t_70,g_se原创 2021-10-09 09:37:18 · 215 阅读 · 0 评论 -
IDEA构建springboot应用--Controller
文章目录前言一、Controller是什么?二、Controller层注解1.@RestController2.@ResponseBody3.@RequestMapping4.@Controller总结前言在java 开发中,Controller层是连接前端和后端的,接收前端发送请求,同时向后端发送请求,起到承上启下的作用。提示:以下是本篇文章正文内容,下面案例可供参考一、Controller是什么?1、简单的说 Controller 负责解析用户的输入,处理后返回相应的结果例如:在 RE原创 2021-10-07 09:52:59 · 3993 阅读 · 0 评论 -
Jmeter压力测试工具
文章目录前言一、Jmeter是什么?二、使用步骤1.Jmeter下载2.Jmeter环境变量相关配置3.Jmetermeter测试案例实操总结前言想对自己写的Web进行模拟压力测试,看到Jmeter压力测试工具还是不错的,一、Jmeter是什么?jmeter是一款优秀的开源性能测试工具, 功能强大,jmeter设计之初只是一个简单的web性能测试工具,但经过不段的更新扩展,现在可以完成数据库、FTP、LDAP、WebService等方面的测试二、使用步骤1.Jmeter下载进入官网:htt原创 2021-10-02 08:25:09 · 140 阅读 · 0 评论 -
idea 使用 mybatis plus
文章目录前言一、mybatis plus是什么?二、使用步骤1.引入依赖2.调整实体类使用IService基本增删改查操作总结前言最近在使用idea,发现使用插件,虽然mybatis可以直接在xml中通过SQL语句操作数据库,很是灵活,但都要通过SQL语句进行,就必须写大量的xml文件,很是麻烦。一、mybatis plus是什么?Mybatis-Plus是一个 Mybatis 的增强工具,为简化开发、提高效率而生。其实就是它已经封装好了一些常用的方法,我们不需要再写xml了,直接调用这些方法就原创 2021-09-27 21:37:36 · 2368 阅读 · 0 评论 -
SECS/GSM 解析函数
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、与运算符(&)二、移位运算符("<<"及">>")三、U4解析函数四、字节解析总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。一、与运算符(&)运算规则:0&0=0;0&1=0;1&0=0;1&1=1即:两个同时为1,原创 2021-09-25 07:38:51 · 718 阅读 · 0 评论 -
WCF RestFul+JWT身份验证
文章目录前言一、JWT是什么?二、如何使用JWT身份验证1.前端-用户登录成功后,服务端通过jwt生成一个随机token给用户2.前端-用户访问时需携带token,发给服务端3.后端-用户访问时需携带token,发给服务端4.服务端接收到token之后,通过jwt对token进行校验是否超时、是否合法二、校验接口总结前言之前已经介绍了restful风格wcf,本篇将介绍一下,调用restful的权限认证的内容。在调用的接口,为了安全,总会需要对请求进行权限认证的,以防一些非法的操作。提示:以下是本原创 2021-09-21 08:51:27 · 687 阅读 · 0 评论 -
springboot+mybatis+配置多数据源
文章目录前言一、dynamic-datasource-spring-boot-starter是什么?二、使用步骤1.在SpringBoot项目pom文件中引入依赖2.application属性文件增加数据源配置项3.多数据源如何使用总结前言最近在研究springboot和mybatis,mybaits功能强大,在使用springboot开发业务应用程序的过程中,使用多数据源的场景很常见,但是看了半天没看到它如何配置多个数据源的功能,通过万能百度发现dynamic-datasource-spring-b原创 2021-09-09 20:23:30 · 258 阅读 · 0 评论 -
SECS/GSM RMS TO EAP
文章目录前言一、EAP是什么?二、RMS是什么?三、RMS TO EAP中间件总结前言我们公司的SECS/GSM通讯软件是单独一套的CS结构系统,在系统里结合了许多其它系统的业务逻辑和卡控,使得RMS系统越来越来臃肿,所以能否将公司的RMS系统打造成EAP,让整个系统的结构清晰,各个系统的职责分明,不想什么逻辑都加在RMS系统里。提示:以下是本篇文章正文内容,下面案例可供参考一、EAP是什么?EAP(Equipment Automation Programming)控制半导体设备进行自动化生产原创 2021-09-04 21:29:38 · 1404 阅读 · 0 评论 -
idea 使用 lombok插件
文章目录前言一、Lombok是什么?二、如何使用Lomboklombok中的常用注解遇到问题总结前言最近在使用idea,突然发现java实体类可以像Visual Studio中一样仅仅只是定义了变量,没有任何setter,getter,方法,却可以正常的调用,发现此类比之前所见的类多了一些注解,@Date,@EqualsAndHashCode一、Lombok是什么?Lombok官网解释:https://projectlombok.orgLombok是Java的实用插件,它会帮我们自动生成get原创 2021-09-03 22:47:42 · 386 阅读 · 0 评论 -
使用IDEA搭建Springboot+Mybatis(1)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、准备工作二、搭建步骤1.新建一个项目2.如何导入Oracle 12c驱动3.如何处理程序包不存在问题的解决前言在windows下使用IDEA如何创建一个简单的springboot+mybatis项目并启动提示:以下是本篇文章正文内容,下面案例可供参考一、准备工作操作系统:Window 7开发工具:IntelliJ IDEA 2020.1 x64Java版本:Jdk 1.8 x64数据库:Oracle 12原创 2021-08-28 20:49:30 · 171 阅读 · 0 评论 -
Issues with Build the SSH Framework by using Eclipse
Eclipse Software Version:Eclipse Jee Oxygen Tomcat Software Vesion:Tomcat8.0 JDK Software Vesion:1.8Eclipse not support Tomcat8.0 1、Open Eclipse Menu help-&amp;amp;amp;amp;amp;amp;amp;gt;eclipse marketplace 2、Inpu...原创 2018-08-05 11:39:37 · 106 阅读 · 0 评论