
Linux
文章平均质量分 76
星川皆无恙
大数据技术领域优质创作者 阿里云开发Clouder技能认证 持续更新各种大数据技术讲解及优质项目 苦尽甘来时,我再跟你讲来时的路
展开
-
大数据技术之Nginx实战:服务搭建与命令管理
Nginx(“engine x”)是一个高性能的 HTTP /反向代理的服务器及电子邮件(IMAP/POP3)代理服务器。官方测试nginx能够支撑5万并发,并且cpu,内存等资源消耗却非常低,运行非常稳定。最重要的是开源,免费,可商用的。Nginx还支持热部署,几乎可以做到7 * 24 小时不间断运行,即时运行数个月也不需要重启,还能够在不间断服务的情况下对软件进行升级维护。作为开源软件,Nginx 不仅免费使用,还允许商用,具有广泛的社区支持和灵活的配置选项,非常适合构建高性能、高可用性的 Web 服务原创 2024-09-09 00:52:44 · 1450 阅读 · 11 评论 -
大数据云计算——使用Prometheus-Operator进行K8s集群监控
在非operator配置的普罗中我们监控k8s集群都是通过配置configmap进行服务发现和指标拉取。切换到prometheus-operator难免会有些使用问题。不少用户已经习惯底层配置自动发现的方式。当过渡到servicemonitor或者podmonitor或多或少不习惯。所以下面就为大家介绍一下Prometheus-Operator,以及servicemonitor的使用方法原创 2023-12-13 22:22:17 · 1693 阅读 · 0 评论 -
Linux Ubuntu环境下使用docker构建spark运行环境(超级详细)
这篇文章深入研究了在Linux Ubuntu环境下使用Docker构建Spark运行环境的详细步骤。首先,文章介绍了Spark的基本概念以及在大数据处理中的关键作用,为读者提供了对Spark的背景和价值的全面了解。随后,文章逐一解释了在Ubuntu系统中安装和配置Docker的具体步骤,为搭建Spark环境做好准备。文章以超级详细的方式呈现了每个关键步骤,确保读者能够清晰理解并成功实施。最终,本文为在Linux Ubuntu环境下构建和配置Spark运行环境提供了实用的指南,为大数据处理提供了一个强大的工具原创 2023-12-13 21:50:19 · 1562 阅读 · 0 评论 -
大数据云计算——Docker环境下部署Hadoop集群及运行集群案列
本文着重介绍了在Docker环境下部署Hadoop集群以及实际案例中的集群运行。首先,文章详细解释了Hadoop的基本概念和其在大数据处理中的重要性,以及为何选择在Docker环境下部署Hadoop集群。接着,阐述了在Docker中配置和启动Hadoop集群所需的步骤和技术要点。通过本文,读者可以深入了解如何利用Docker环境快速搭建Hadoop集群,并通过案例展示集群的运行过程,为大数据云计算中的Hadoop应用提供了实用的指导和参考。原创 2023-12-13 21:46:00 · 2453 阅读 · 0 评论 -
Linux Ubuntu环境下安装配置Docker 和Docker、compose、mysql、中文版portainer
这篇文章探讨了在Linux Ubuntu环境下安装和配置Docker及其相关工具的过程。首先介绍了Docker的基本概念,然后详细讲解了在Ubuntu系统上的安装步骤。随后,文章涵盖了Docker Compose的配置,使读者能够更高效地管理多个Docker容器。此外,文章还包括了在Docker环境中部署和配置MySQL数据库的方法,以满足各种应用的数据存储需求。最后,文章介绍了中文版Portainer的安装和配置,为用户提供了一个友好的图形化界面,使Docker容器的管理变得更加直观和便捷。原创 2023-12-13 21:34:08 · 1442 阅读 · 0 评论 -
Linux关闭防火墙命令(永久关闭、暂时关闭、重启防火墙、暂时启动和设置开机自启)
文章内容包括Linux关闭防火墙命令(永久关闭、暂时关闭、重启防火墙、暂时启动和设置开机自启),内容非常详细,满满的干货!希望对你有所帮助。原创 2022-11-19 16:30:34 · 16998 阅读 · 0 评论 -
大数据云计算运维之Nginx反向代理与负载均衡
Nginx(“engine x”)是一个高性能的 HTTP /反向代理的服务器及电子邮件(IMAP/POP3)代理服务器。官方测试nginx能够支撑5万并发,并且cpu,内存等资源消耗却非常低,运行非常稳定。最重要的是开源,免费,可商用的。Nginx还支持热部署,几乎可以做到7 * 24 小时不间断运行,即时运行数个月也不需要重启,还能够在不间断服务的情况下对软件进行升级维护。原创 2023-06-19 11:50:21 · 1319 阅读 · 1 评论 -
成功解决: Get “http://localhost:10248/healthz“: dial tcp [::1]:10248: connect: connection refused.
我在部署k8s集群使用kubeadm初始化报报错,成功解决: Get "http://localhost:10248/healthz": dial tcp [::1]:10248: connect: connection refused.原创 2023-05-06 21:00:03 · 4289 阅读 · 6 评论 -
解决:The connection to the server raw.githubusercontent.com was refused - did you specify the right ho
成功解决在执行 kubectl apply -f https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml命令时遇到的报错:The connection to the server raw.githubusercontent.com was refused - did you specify the right host or port?原创 2023-05-06 19:42:50 · 3709 阅读 · 6 评论 -
k8s部署解成功解决node节点一直处于NotReady状态的问题,报错failed to load Kubelet config file /var/lib/kubelet/config.yaml
k8s部署解决node节点一直处于NotReady状态的问题,报错failed to load Kubelet config file /var/lib/kubelet/config.yaml, error failed to read kubelet config file "/var/lib/kubelet/config.yaml", error: open /var/lib/kubelet/config.yaml: no such file or directory原创 2023-05-06 14:04:00 · 15939 阅读 · 2 评论 -
大数据技术之Hadoop(MapReduce)
MapReduce是一个`分布式运算程序的编程框架`,是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。更多关于MapReduce详细内容请看本博客。原创 2023-01-21 22:41:32 · 1583 阅读 · 0 评论 -
大数据技术之Hadoop(HDFS)——超详细
HDFS(Hadoop Distributed File System),它是一个`文件系统`,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。HDFS的使用场景:适合一次写入,多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。原创 2023-01-15 21:43:46 · 13935 阅读 · 7 评论 -
Hadoop集群崩溃时的处理方法
不少同学在部署集群时候不小心删除了一些文件,比如hadoop目录下的data等目录,导致集群崩溃无法启动或者进入不了web端口。很多小伙伴第一时间想到的就是重新格式化,但忙活了半天发现还是于事无补,无法正常启动集群,还爆出来一堆问题。下面我来教大家遇到Hadoop集群崩溃的如何处理。原创 2022-12-27 18:16:04 · 1119 阅读 · 0 评论 -
VMware虚拟机搭建Linux CentOS7(全网最详细图文讲解)
本文内容为VMware虚拟机搭建Linux CentOS7,包括系统硬件配置和网卡配置,里面过程都有详细的图文讲解,基本照着做都没一点问题,祝各位一切顺利。原创 2022-11-16 13:42:21 · 17231 阅读 · 2 评论 -
Linux配置ssh远程连接服务
直接上命令:sudo apt-get updatesudo apt-get remove --purge openssh-clientsudo apt install openssh-server然后运行systemctl status ssh看看ssh.service的active是不是running状态,再看看22端口有没有启动。systemctl status ssh原创 2022-11-27 13:36:42 · 1035 阅读 · 0 评论