服务器
文章平均质量分 64
各种服务器和集群架设和测试的过程
宝华的小岛
生命不息,奔跑不止。
展开
-
VBox组件内部局域网
为了不混乱,我把网卡1确定为桥接网络,网卡2,确定为192.168.2.x网段,网卡3确定为192.168.10.x网段,网卡4使用vbox默认的192.168.56.x网段,一般使用前两个就行,四个网卡全开会出问题。手动复制和修改网络配置文件比较麻烦。由于此时的网卡2使用的是动态分配的ip,所以没法用网卡2的ip去ssh,可以使用网卡1的ip登录,或者在虚拟机显示界面直接登录,查看和修改网卡2的配置。红框部分都是需要修改的,UUID可以重新生成一个,也可以做一点稍微的修改,不要与复制的源文件相同就好了。原创 2022-11-28 16:53:03 · 1230 阅读 · 0 评论 -
CentOS7搭建Flume服务器
Flume的官网是http://flume.apache.org,官网提供了丰富实用的技术资料。l一、下载软件原创 2021-05-30 21:00:01 · 322 阅读 · 0 评论 -
Docker搭建Yearning服务器
Yearning是干啥的?《MySql从删库到跑路》,这个熟悉不?这不是一本书,也不仅仅是一个梗。可能真有其事发生。如果公司都放任程序员去操作数据库,真有一天re'ren'b原创 2021-05-29 21:01:17 · 675 阅读 · 3 评论 -
CentOS7搭建Hive服务器
Hive服务器需要Hadoop,我使用的是Hadoop3.3.0,这个提前已经搭建好了。MySql5.7.34也已经准备好。一、下载软件原创 2021-05-29 20:19:52 · 282 阅读 · 0 评论 -
CentOS7搭建HBase单节点集群
鉴于Docker搭建HBase遇到那种令人恶心的设计,我决定采用CentOS7直接搭建。孰料,过程更麻烦,坑更多。简直就是一个踩坑的体验。不过我横下心来杠到底,非要把这个问题解决不可。用了一个工作日,尝试各种版本,梳理各种思路,查阅了很多资料,终于搞定了。HBase工作需要zookeeper,虽然HBase本身集成了zookeeper,但是使用并不是很自由,建议还是使用独立的zookeeper。所以我们首先要在系统中安装zookeeper。HBase的底层存储使用的还是Hadoop的HDFS,因此还原创 2021-05-27 13:45:18 · 586 阅读 · 1 评论 -
CentOS7搭建Spark3.1.1单节点集群
打算学习研究Spark,搭建一个单节点的Spark集群来做线上测试和研究。首先要安装好安装Scala环境https://blog.csdn.net/xxkalychen/article/details/117175314。一. 下载Spark软件cd /var/appwget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.1/spark-3.1.1-bin-hadoop3.2.tgz二. 解压tar -zx.原创 2021-05-23 01:43:56 · 735 阅读 · 0 评论 -
CentOS7架设Kafka服务器
一、下载软件cd /var/appwget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz二、解压tar -zxvf kafka_2.13-2.8.0.tgz三、创建日志文件夹mkdir -p /var/app/kafka_2.13-2.8.0/logs四、运行zookeeper和kafkanohup /var/app/kafka_2.13-2.8.0/bin/zookeeper-s原创 2021-05-23 01:44:58 · 399 阅读 · 0 评论 -
CentOS7架设Flink1.13.0服务器
一、下载软件cd /var/appwget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.13.0/flink-1.13.0-bin-scala_2.12.tgz二、解压软件tar -zxvf flink-1.13.0-bin-scala_2.12.tgz三、添加环境变量vi /etc/profile添加内容# Flinkexport FLINK_HOME=/var/app/flink-1.13.0原创 2021-05-22 07:14:31 · 365 阅读 · 0 评论 -
Docker架设服务器系列
一、WEB服务器二、关系型数据库2-1.Docker架设MySql5.7.34服务器三、NoSQL数据库3-1.Docker架设Memcached服务器并与Springboot整合四、消息中间件五、流式数据处理服务器六、大数据七、开发管理服务器7-1.Docker架设SVN服务器7-2.Docker架设Gitlab服务器7-3.Docker搭建jira服务器八、分布式注册中心及配置中心8-1.Consul注册中心服...原创 2021-05-22 06:53:14 · 188 阅读 · 0 评论 -
Java整合Storm读取Kafka数据
写到这里,kafka -> storm -> es 应该是流式数据处理最标准的模型了,从消息队列获取流式数据源,经storm多分支流水线逐次清洗、处理、计算,把需要的数据持久化到仓库。根据前几次的不断深入和修改,现在我们就把数据源改成kafka。我们需要做三点改动就好了。一、添加kafka的依赖。<dependency> <groupId>org.apache.kafka</groupId> <artifactId>k原创 2021-05-20 06:48:37 · 835 阅读 · 0 评论 -
CentOS7架设Storm单实例服务
最近学习研究Storm,需要一个Storm服务器环境。搜一下发现网络上大都是架设集群的,本人主要从事java后端,不需要在服务器运维方面搞得过于深入,加之用虚拟机架设一个多节点的集群也颇为消耗资源。试想我正在调试Java程序,还要开着三个虚拟机,是不是很麻烦。所以我们只需要一个单实例的服务器就好了。最开始还是追求Docker化的架设,但是考虑到可能需要把Storm的jar包上传到服务器,使用Docker就有点啰嗦,所以还是直接在CentOS7里面进行架设。架设过程中当然还是遇到了一些问题,最终是架设成功原创 2021-05-19 09:35:46 · 278 阅读 · 0 评论 -
Consul注册中心服务器架设与整合
本次练习我测试了CentOS单实例运行,Docker单实例部署,Docker集群架设,CentOS集群架设。Windows下的运行没有做,貌似太简单。Docker集群做内网伪分布式模式测试成功,但是模拟分布式把容易运行在不同的虚拟机测试失败。下次需要尝试创建私人网络再试。这种资料好像不太多,找到的有关Docker架设Consul集群的资料几乎都是基于同一个服务器。这有什么用呢?要挂一起挂,于高可用没有什么作用。还好不用Docker创建分布式集群成功了。一、CentOS7架设单实例服务依次执行以下命令原创 2021-04-22 00:59:40 · 223 阅读 · 0 评论 -
Docker架设MySql5.7.34服务器
参考资料:https://hub.docker.com/_/mysql我们选择5.7.x,在github上,可以看出,在我架设测试和写文章时,版本刚刚更新,最新版本是5.7.34.就在不到一天之前。https://github.com/docker-library/mysql一、拉取镜像docker pull mysql:5.7.34三、创建挂载文件夹mkdir -p /var/docker/mysql/conf && mkdir -p /var/docker原创 2021-04-20 19:50:13 · 557 阅读 · 0 评论