BigData
大数据的成长之路,记录大数据学习过程中的点滴。
碧水悠萝
打造自身的知识体系,深化技能,分享技能
展开
-
K8S单节点变集群
一、记录k8s-master节点信息k8s-master节点的信息,这一步主要是为了让在执行添加节点后,master节点的变化,本身没有什么作用。[root@k8s-master centos]# kubectl get pod --all-namespacesNAMESPACE NAME READY STATUS RESTARTS AGEkube-system原创 2021-03-07 19:22:23 · 337 阅读 · 0 评论 -
VMware上Centos8配置静态IP
在虚拟机内部,点击右上角箭头。如下图所示,VMware会默认动态分配(可在VMware的网络编辑器中查找或修改)IP等信息。配置完成后,可重新点进去再确认一次。完成后,可以重启系统。再次确认下。...原创 2021-03-06 20:42:19 · 235 阅读 · 0 评论 -
Centos8修改主机名
修改主机名时,直接使用系统提供的工具进行修改。[root@localhost centos]# hostnamectl Static hostname: localhost.localdomain Icon name: computer-vm Chassis: vm Machine ID: 89bf177f78dc49f6b4954e1e9511e267 Boot ID: 8f46edc8b7b648f58d5d4c.原创 2021-03-06 20:26:10 · 698 阅读 · 0 评论 -
Centos安装K8S更新问题
[root@k8s-master centos]# yum updateRepository extras is listed more than once in the configurationLast metadata expiration check: 0:14:25 ago on Fri 05 Mar 2021 11:51:26 PM PST.Error: Problem: cannot install both kubelet-1.18.4-0.x86_64 and kubelet-.原创 2021-03-06 16:15:05 · 4397 阅读 · 1 评论 -
制作Docker Image
一、前提已完成Docker安装。二、步骤制作镜像有两种方法。一种是通过Dockerfile,还有一种是进入基础镜像之后安装软件,再提交镜像。1、Dockefile第一种如下,先写Dockerfile,注意文件名(文件名就是Dockerfile,无后缀)。因为网络问题,JDK我是下载好,放置在Linux系统本地的。FROM ubuntu:20.04MAINTAINER yourname your@outlook.comRUN apt-get updateRUN apt.原创 2021-03-05 19:37:49 · 218 阅读 · 0 评论 -
在VMware安装K8S
上面已完成Docker之前的所有安装原创 2021-03-03 18:44:45 · 1219 阅读 · 1 评论 -
Kakfa-Manager安装
一、选型kafka集群的监控组件有Monitor、Manager、Eagle、prometheus等,我选择使用Kafka-Manager,主要是自己使用过,功能比较全面。二、SBT安装安装SBT,主要是为了对官方提供的Kafka-Manager进行编译。如下是编译命令。sbt clean distSBT官方下载地址kafka manager下载地址SBT安装步骤三、Kafka-Manager安装...原创 2021-03-02 16:58:25 · 82 阅读 · 0 评论 -
Kafka集群环境搭建
一、参考kafka集群的安装与启动二、安装主要是对server.properties文件的修改,参考之前的链接就可以装好。这里主要是在kafka日志文件存放的路径的设置,这里的路径规划暂没有做过,不知道什么是最优,日后再补充。...原创 2021-03-01 15:11:39 · 85 阅读 · 0 评论 -
BigData 组件下载地址记录
scala下载地址https://scala-lang.org/files/archivehttps://scala-lang.org/files/archive/scala-docs-2.13.5.tgzhttps://scala-lang.org/files/archive/scala-2.13.5.tgzhttps://downloads.lightbend.com/scala/2.12.13/scala-2.12.13.tgzspark下载地址http://archive.apac原创 2021-02-28 20:59:03 · 286 阅读 · 0 评论 -
Zookeeper集群环境搭建
一、下载Zookeeper下载地址,如下图,要下载apache-zookeeper-3.6.2-bin.tar.gz。否则后期启动会失败。二、解压需要注意zookeeper安装的目录,我是放在/usr/local/zookeeper/目录下。用如下的解压命令进行解压,注意解压后的目录层次。sudo tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz -C /usr/local/zookeeper三、配置1、zoo.cfg首先是zoo.cf.原创 2021-02-28 20:20:01 · 135 阅读 · 0 评论 -
Hadoop集群环境搭建-集群搭建
一、Hadoop下载hadoop官网下载地址命令行下载具体的hadoop版本wget https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz二、Hadoop安装1、解压在安装前规划好安装目录,建议安装在 /usr/loacl/hadoop/解压Hadoop安装包sudo tar -zxvf hadoop-2.9.2.tar.gzsudo mv hadoop-2.9.2/原创 2021-02-27 21:03:12 · 202 阅读 · 0 评论 -
Hadoop集群环境搭建-系统搭建
系统提供的几种JDK包sudo apt install openjdk-11-jre-headless # version 11.0.10+9-0ubuntu1~20.04, orsudo apt install default-jre # version 2:1.11-72sudo apt install openjdk-8-jre-headless # version 8u282-b08-0ubuntu1~20.04sudo apt install openjd...原创 2021-02-25 16:23:50 · 122 阅读 · 0 评论 -
NGINX Windows环境安装
一、下载官网地址:http://nginx.org/en/download.html二、安装1、将下载的压缩包放至想要安装的目录在此处主要是需要前期要规划自己电脑的软件安装,别后期系统越来越乱,管理也不好管理,安装没什么难度。E:\nginx\nginx-1.18.0,我选择规划一个盘,专门安装大数据相关的组件。2、解压安装三、测试浏览器访问Localhost即可四、学习可以查看Nginx的一些配置文件,开始阅读源码,也可以做一些架构性的测试。...原创 2021-02-19 13:40:16 · 139 阅读 · 1 评论 -
浅谈数据缓存
什么数据需要缓存 热点数据、不易修改数据。建议缓存失效时间至多设置为7天。超过7天,再重新生成热点数据。 三级缓存三级缓存分为堆内存、堆外存、硬盘。什么样的数据适合放在一级缓存?数据量小的热点数据。 什么样的数据适合放在二级缓存?很少被修改的数据; 不是很重要的数据,允许出现偶尔并发的数据; 不会被并发访问的数据; 参考数据。 什么样的数据适合放在三级缓存?数据量大,且访问频率低的数据。 缓存使用会遇到什么问题?缓存并发问题,导致数据错误;缓存命中率低的问题...原创 2020-12-26 17:38:10 · 449 阅读 · 0 评论 -
BigData Environment
https://www.cnblogs.com/fuzongle/p/12760193.html原创 2021-02-08 19:50:35 · 81 阅读 · 0 评论