![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Ubuntu
文章平均质量分 75
Ubuntu
panda_225400
这个作者很懒,什么都没留下…
展开
-
nginx负载均衡+RabbitMq集群及镜像队列(2)
之前是为Web应用搭建的两台服务器NLB负载均衡,不想改动,现在三台服务器搭建了RabbitMq集群及镜像队列,想通过负载均衡监听和处理队列,所以想到了nginx,nginx不光是个高性能Web服务器,还能做负载均衡提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2023-05-01 15:36:49 · 1523 阅读 · 1 评论 -
机器人操作系统ROS/ROS2(1)
前天突然发现还有个机器人操作系统,故而引起自己的兴趣,研究下这是什么玩意。提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2023-01-07 15:55:20 · 2636 阅读 · 5 评论 -
GreenPlum6.x之ETL工具
GreenPlum作为一款定位为OLAP系统的分布式数据库平台,具有非常强大的ETL功能,其中存储过程和GPLoad是必须掌握的数据仓库开发工具。提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2022-11-27 10:20:30 · 903 阅读 · 0 评论 -
GreenPlum6.x之测试数据
分布式关系型数据库集群搭建好了,试下是否如网上所述处理的数据具有高性能的优势,所以导入500万条测试数据进行简单的试下提示:以下是本篇文章正文内容,下面案例可供参考在普通数据库里500万数据使用group by统计确实比较慢,但在GreenPlum下测试觉的确实性能高。原创 2022-11-19 20:02:18 · 859 阅读 · 0 评论 -
GreenPlum6.x之GPCC
Greenplum是一个关系型数据库集群,虽然在虚拟机上部署好了,但是如何能监控集群的服务器上数据库运行是否执行正常,Greenplum有个GPCC是数据库的可视化监控工具提示:以下是本篇文章正文内容,下面案例可供参考记录点点滴滴。原创 2022-11-19 14:20:27 · 744 阅读 · 0 评论 -
CentOS7.x部署GreenPlum6.x
之前学习hadoop为核心的平台,因为和传统数据库差异比较大,所以前段时间学习hadoop,也就是有所理解入门,虽然它扩展性强,成本低,开源生态优势,但是也出现兼容性差,查询性能不足,架构复杂等问题。最近发现了以GreenPlum为代表的MPP架构分布式关系型数据库出现,开源架构也没hadoop那么复杂,也能满足企业的分布式数据库和数据分析,GreenPlum和hadoop有些地方挺相似的提示:以下是本篇文章正文内容,下面案例可供参考。原创 2022-11-07 19:40:14 · 983 阅读 · 0 评论 -
DELL R720 2U 服务器上安装windows server 2016
最近本想买台台式机,在网上一看二手服务器还比较划算,就在网上订购台二手DELLR7202U服务器放在家里玩玩,到家还没几天就被我把预装的系统给搞崩了,服务器系统也没搞一键恢复功能,只能重新装系统,在商家指导下自己亲自上阵搞系统提示以下是本篇文章正文内容,下面案例可供参考记录点点滴滴httpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttps。...原创 2022-07-17 18:13:14 · 3094 阅读 · 2 评论 -
Hadoop在生产环境中简单的设想
在我们半导体公司,当然生产环境中主要与半导体设备打交道,各个工艺流程都需要设备生产,为管控半导体设备生产就有了RMS远程操作设备来防呆减少不必要的人为失误,RMS主要功能管控设备的Recipe程序防止使用错误的程序,其次与设备交互,监控设备的状态、报警、电流等生产参数,机器没报警但生产参数出现异常时及时暂停设备的继续生产,检查纠正问题后再进行有效生产分析RMS系统如何加入Hadoop:1、设备Recipe程序的存储,将Recipe程序上传到HBase/HDFSHBase的优势:1)HBase 可以很好原创 2022-06-16 19:55:52 · 259 阅读 · 0 评论 -
Hadoop环境搭建学习之Spark SQL简单使用
用户需要从不同数据源操作结构化、半结构化和非结构化的各种数据。其次,用户需要执行高级分析,而关系数据库已经不能满足要求。Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。因为关系数据库已经很流行,而且关系数据库在大数据时代已经不能满足要求。首先,用户需要从不同数据源执行各种操作,包括结构化、半结构化和非结构化数据。其次,用户需要执行高级分析,比如机器学习和图像处理。在实际大数据应用中,经常需要融合关系查询和复杂分析算法(比如机器学习或图像处理),原创 2022-06-12 16:44:25 · 594 阅读 · 0 评论 -
Hadoop环境搭建学习之使用Idea提交Java程序到spark集群(10)
Hadoop Spark HA环境搭建好了,试着创建程序提交到Spark集群执行简单计算统计需求:单词计数执行步骤:1、远程取两个文件2、获取两个文件内的数据3、将文件内的数据进行扁平化4、将相同单词进行分组5、聚合计算每个单词的个数资源列表虚拟机启动Hadoop HA启动Spark HA编写多个测试数据.txt文件,文件名随意,将文本文件上传至hdfs的/datas目录以1.txt、2.txt为例将测试数据传到hdfs的/input/datas目录hadoop fs -mkdir /原创 2022-06-04 17:42:41 · 452 阅读 · 0 评论 -
Hadoop环境搭建学习之Phoenix设置SCHEMA(9)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、SCHEMA是什么?二、使用步骤1. SCHEMA的启用2.SCHEMA操作3.SCHEMA关闭4.在SCHEMA下创建表5.DBeaver连接Phoenix总结前言提示:这里可以添加本文要记录的大概内容:1、SCHEMA 的启用、操作、关闭 2、DBeaver连接Phoenix提示:以下是本篇文章正文内容,下面案例可供参考一、SCHEMA是什么?Phoenix 中将 HBase 的 namespace 叫.原创 2022-05-22 16:03:36 · 985 阅读 · 0 评论 -
Hadoop环境搭建学习之Phoenix整合HBase(8)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Phoenix是什么?二、使用步骤1.环境准备2.集群规划2.Phoenix安装3.Phoenix Shell 表操作总结前言提示:这里可以添加本文要记录的大概内容:HBase 不支持 SQL 语法,使用非常不便,所以诞生丁 Phoenix。 Phoenix 是通过一个嵌人的 JDBC驱动存储在HBase 中的数据的查询。Phoenix 可以让开发者在 HBase数据集上使用 SQL 查询。一、Phoenix是什.原创 2022-05-15 13:20:21 · 660 阅读 · 0 评论 -
Hadoop环境搭建学习之Spark HA(7)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Spark是什么?二、使用步骤1.环境准备2.集群规划3.Spark HA部署安装启动Spark HA浏览器查看 Spark 的 Web UI4.# 测试 Spark 集群总结前言提示:这里可以添加本文要记录的大概内容:Hadoop的实时数据通过Spark Streaming读取kafka,需要先了解下Spark,要了解Spark需要搭建Spark环境提示:以下是本篇文章正文内容,下面案例可供参考一、Spar.原创 2022-05-03 09:28:42 · 260 阅读 · 0 评论 -
Hadoop环境搭建学习之kafka集群(6)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、kafka集群是什么?二、使用步骤1.环境准备2.集群规划3.kafka集群部署安装4.SpringBoot集成kafka总结前言关于kafka,网上的介绍有很多,简单说就是消息中间件,大数据项目中经常使用,我们项目是用于接收日志流水数据。相比其他消息中间件RabbitMQ优势在于:(1)性能高,每秒百万级别;(2)分布式,高可用,水平扩展。提示:以下是本篇文章正文内容,下面案例可供参考一、kafka集群是.原创 2022-04-23 21:27:51 · 1678 阅读 · 0 评论 -
Hadoop环境搭建学习之kafka(5)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、kafka是什么?二、使用步骤1.环境准备2.单点部署安装kafka总结前言最近存放机台Recipe的磁盘空不够,里面的机台Recipe实在多,以为19年之前的不用了清空了,谁知道19年之前产线还要,一个个根据文件名筛选太麻烦了,每一段时间都要清理太烦了,在想将RMS系统与半导体设备通讯操作产生的日志信息,机台报警信息,Recipe的存储放到大数据Hadoop里,Hadoop有高容灾,高扩展等一系列优势,不需要停机就.原创 2022-04-14 20:45:46 · 1667 阅读 · 0 评论 -
Hadoop环境搭建学习之Hive(4)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Hive是什么?二、使用步骤1.环境准备2.集群规划2.Hive远程模式安装2.使用DBeaver图形化界面工具总结前言Hive高可用部署 HiveServer2高可用(HA)Metastore高可用(HA)基于Apache hive 3.1.2提示:以下是本篇文章正文内容,下面案例可供参考一、Hive是什么?Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射成一张数据表,并可以使用类似.原创 2022-04-09 11:23:48 · 2032 阅读 · 0 评论 -
Hadoop环境搭建学习之HBase(3)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Hbase是什么?二、使用步骤1.环境准备2.集群规划3.Hadoop (HA)+zookeeper安装HDFSYARN2.HBase (HA)安装总结前言Hadoop 3.3.1(HA)+Zookeeper3.4.10+Hbase2.4.4(HA)搭建高可用集群。由于一个HDFS集群由一个NameNode节点和多个DataNode节点组成,一旦NameNode节点宕机,那么HDFS将不能进行文件的上传与下载。由.原创 2022-04-05 09:16:34 · 565 阅读 · 0 评论 -
Hadoop环境搭建学习之zookeeper(2)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、zookeeper是什么?二、使用步骤1.所用的环境及软件2.集群服务器规划3.zookeeper分布式集群4.zookeeper+Hadoop配置5.启动HA集群总结前言`前天看公司的项目大数据的架构,里面除了最基本的Hadoop,还用了zookeeper,Hbase,kafka等第三方的组件,我就试着重新搭建下Hadoop里加入zookeeper,学习下这个组件主要用处提示:以下是本篇文章正文内容,下面案例可.原创 2022-03-26 16:17:23 · 1835 阅读 · 0 评论 -
Hadoop环境搭建学习(1)
文章目录前言一、Hadoop是什么?二、使用步骤1.所需环境及软件2.测试集群服务器规划3.前置软件安装或者准备工作4.安装Hadoop总结前言`最近大数据又兴起了,我们公司也入了大数据的项目,大数据这玩意范围广,涉及到的知识也不局限一个方面,国内的大数据平台,基本上都是基于Hadoop的这框架而衍生来的,所以Hadoop是基础提示:以下是本篇文章正文内容,下面案例可供参考一、Hadoop是什么?Hadoop是由java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架原创 2022-03-19 13:07:08 · 2535 阅读 · 1 评论 -
Python之Celery定时任务
文章目录前言一、Celery定时任务是什么?二、使用步骤1.代码结构2.启动定时任务3.执行结果总结前言Celery在python中的应用除了实现异步任务(async task)外也可以执行定时任务(beat)一、Celery定时任务是什么?Celery默认任务单元由任务生产者触发,但有时可能需要其自动触发,而Beat进程正是负责此类任务,能够自动触发定时/周期性任务.Celery 进行周期任务也很简单,只需要在配置中配置好周期任务,然后在运行一个周期任务触发器(beat)即可,具体网上看原创 2021-12-12 09:33:55 · 3531 阅读 · 1 评论 -
Putty控制TPYBorad(MicroPython)
文章目录前言一、Putty是什么?二、Putty 控制 TPYBorad1.下载Putty软件2.通过USB数据线将TPYBorad与PC相连3.打开Putty软件4.运行代码总结前言MicroPython 交互式解释器模式(又称REPL),可以通过MicroPython交互式解释器直接可以执行Python代码,单片机上就会立即有反应一、Putty是什么?Putty是一个Telnet、SSH、rlogin、纯TCP以及串行接口连接软件.可以通过Putty 来控制 TPYBorad,打开Micro原创 2021-11-29 21:05:35 · 981 阅读 · 0 评论 -
MicroPython控制单片机01
文章目录前言一、MicroPython是什么?一、TPYBoad 是什么?三、使用步骤1.使用USB连接开发板和PC电脑2.PC电脑上打开开发板3.打开main.py编写代码4.执行代码总结前言MicroPython可以对硬件进行嵌入式的开发,我在网上购买了个支持Python单片机,今天就试试下我的第一个用Python语言来控制单片机的程序一、MicroPython是什么?MicroPython是在单片机上可以跑的Python,也就是说,你可以通过Python脚本语言开发单片机程序。MicroP原创 2021-11-28 11:30:10 · 4018 阅读 · 0 评论 -
Python+Apollo代理进行MQTT简单通信
文章目录前言一、运行环境准备二、MQTT简单通信实现1.开启Apollo代理2.Python客户端3.MQTT测试总结前言想简单的了解下如何通过python实现MQTT发布、订阅提示:以下是本篇文章正文内容,下面案例可供参考一、运行环境准备(一)操作系统:window 7 x64专业版(二)软件准备Apollo服务器软件:apache-apollo-1.7.1-windows-distro.zipjava:jdk-8u77-windows-x64.exe (Apollo需要java环境,原创 2021-11-27 13:33:31 · 1259 阅读 · 0 评论 -
在局域网搭建mqtt服务器
文章目录前言一、mqtt是什么?二、搭建步骤1.下载apache-apollo-1.7.1-windows-distro.zip2.启动mqtt服务3.后台管理界面4.测试总结前言最近在学习Python做物联网,涉及到的硬件和软件方面的知识还不少,之间通讯使用mqtt进行通信提示:以下是本篇文章正文内容,下面案例可供参考一、mqtt是什么?MQTT 是一个基于发布/订阅模式的消息传输协议。它具有轻量级、开放、简单,易于实现,通信带宽要求低等特点。这些特点使得它对机器与机器的通信(M2M)以及物原创 2021-11-21 14:09:30 · 6558 阅读 · 1 评论 -
Python使用Tesseract-OCR
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、tesseract-ocr是什么?二、Tesseract-OCR 安装和使用1.引入库2.配置环境变量3.Python-OCR使用Tesseract-OCR总结前言最近学习Pyhton,发现通过tesseract-ocr可以快速搭建图文识别系统,帮助我们开发出能识别图片的ocr系统一、tesseract-ocr是什么?Tesseract-OCR:开源的OCR识别引擎,初期Tesseract引擎由HP实验室研发,后原创 2021-11-10 19:52:54 · 3829 阅读 · 2 评论 -
Python使用urllib工具抓取图片
文章目录前言一、urllib是什么?二、使用步骤1.引入库2.解析数据3.出现问题总结前言使用urllib.urlretrieve(url,filename)时经常遇到下载到一半时,出现urllib.ContentTooShortError错误。为什么呢一、urllib是什么?Urllib是python内置的HTTP请求库包括以下模块urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser原创 2021-11-03 21:35:00 · 688 阅读 · 0 评论 -
Python使用BeautifulSoup
文章目录前言一、BeautifulSoup是什么?二、如何使用1.引入库2.解析方式总结前言在没接触Python之前使用正则表达式来解析网页,如果一个正则匹配稍有差池,那可能程序就处在永久的循环之中,但是在Python中有工具叫BeautifulSoup,有了它我们可以很方便地提取出 HTML 或 XML 标签中的内容,实在是方便提示:以下是本篇文章正文内容,下面案例可供参考一、BeautifulSoup是什么?BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、原创 2021-11-01 20:46:16 · 1577 阅读 · 0 评论 -
Python发送HTTP请求
文章目录前言一、urllib,urllib3是什么?二、使用步骤1.引入库2.urllib模块3.urllib3模块3.requests模块总结前言最近在看爬虫相关的知识,如何通过Python去爬去网页上的内容,涉及到Http请求提示:以下是本篇文章正文内容,下面案例可供参考一、urllib,urllib3是什么?urllib,urllib3是Python的内置模块,通过此模块可以进行Http请求操作二、使用步骤1.引入库代码如下(示例):pip install request2.原创 2021-10-31 16:24:47 · 413 阅读 · 0 评论 -
rabbitmq使用mqtt协议
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、rabbitmq是什么?二、mqtt协议是什么?三、使用步骤1.引入库2.读入数据总结前言在网上学习物联网,发现有人可以用 springboot + rabbitmq可以搭建物联网(IOT)平台,rabbitmq 不是消息队列吗,原来rabbitmq有两种协议,消息队列是用的AMQP协议,而用在智能硬件中的是MQTT协议。一、rabbitmq是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解原创 2021-10-28 21:10:49 · 19420 阅读 · 1 评论 -
虚拟机Ubuntu18 配置Samba共享设置
文章目录前言一、Samba是什么?二、安装步骤1.打开终端2.创建共享目录3.设置文件权限4.编辑samba配置文件总结前言最近在Windows系统上用VMware安装了虚拟机Ubuntu18,如何在Windows系统与Linux 互相访问资源,能上网可使用网盘来互相访问,不能连外网怎么访问呢,可以通过Samba来共享目录提示:以下是本篇文章正文内容,下面案例可供参考一、Samba是什么?1、samba 是基于SMB协议(ServerMessage Block,信息服务块)的开源软件,samb原创 2021-10-23 08:59:27 · 1359 阅读 · 0 评论 -
在Windows7使用VMware虚拟Ubuntu18配置静态IP连内外网
文章目录前言一、Ubuntu是什么?二、操作步骤1.VMware Workstation Pro 152.Ubuntu 183.设置虚拟机的网络模式4.设置系统使用的网络模式5.在Ubmutu 系统里配置静态IP5.主机和虚拟机Ping IP总结前言这几天在看物联网的东西,需要安装虚拟机配置Linux系统,中间遇到配置的Linux系统的IP在内网中Ping不通,也联不上网,Ubuntu系统各个版本的网络配置还有差异。提示:以下是本篇文章正文内容,下面案例可供参考一、Ubuntu是什么?Ubun原创 2021-10-20 21:47:23 · 914 阅读 · 0 评论 -
idea 使用 mybatis plus
文章目录前言一、mybatis plus是什么?二、使用步骤1.引入依赖2.调整实体类使用IService基本增删改查操作总结前言最近在使用idea,发现使用插件,虽然mybatis可以直接在xml中通过SQL语句操作数据库,很是灵活,但都要通过SQL语句进行,就必须写大量的xml文件,很是麻烦。一、mybatis plus是什么?Mybatis-Plus是一个 Mybatis 的增强工具,为简化开发、提高效率而生。其实就是它已经封装好了一些常用的方法,我们不需要再写xml了,直接调用这些方法就原创 2021-09-27 21:37:36 · 2368 阅读 · 0 评论 -
Win7下硬盘安装Ubuntu-19.10
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...原创 2020-05-04 11:27:50 · 355 阅读 · 0 评论