- 博客(30)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【python】python实现杨辉三角的三种方法
杨辉三角是一种数学图形，由数字排列成类似三角形的形状。它的每个数值等于它上方两个数值之和。这个三角形的形状可以用一个二维表格来表示，其中每个位置上的数值都是通过前一行的数值计算得到的。在这个三角形中，第一行只有一个数值1，第二行有两个数值1，第三行有三个数值1，以此类推。从第四行开始，除了首尾的1之外，中间的数值是上一行对应位置的两个数值之和。对称性：杨辉三角以中心轴为对称轴，每行的对称位置上的数值相等。
2023-09-30 16:33:35
13312
6
原创 【Linux】完美解决ubuntu18.04下vi不能使用方向键和退格键
这个问题是由于新系统预装的是vi而不是vim所致。因为vi不支持直接使用退格键删除字符，只有在按下esc键时，才能让退格键删除字符生效。上网查了一下，这是由于Ubuntu预装的是vim-tiny，而我们需要使用vim-full。只要依次执行以下两个命令即可完美解决Ubuntu下vi编辑器方向键变字母的问题。接下来要解决Backspace键的问题也很简单，在刚才那句话后面再加一句：set backspace=2 即可。再试试vi编辑器，可以看到方向键和退格键已经可以正常使用了。
2023-09-30 16:07:38
5161
2
原创 【Linux】CentOS-6.8超详细安装教程
CentOS是一种基于开放源代码的Linux操作系统，它以其稳定性、安全性和可靠性而闻名，它有以下特点：开源性：CentOS是一个免费、开源的操作系统，它遵循GNU通用公共许可证（GPL）的条款。这意味着任何人都可以自由地使用、修改和分发CentOS的源代码。基于Red Hat Enterprise Linux（RHEL）：CentOS源码直接从RHEL中衍生，因此它保持了与商业版RHEL高度的二进制兼容性。这使得CentOS成为了一个非常可靠和稳定的操作系统选择。
2023-09-30 15:35:22
3062
1
原创 大数据组件-Flink环境搭建
Flink（Apache Flink）是一个开源的流处理和批处理框架，它具有高性能、低延迟、容错性和灵活性的特点。Flink拥有强大而灵活的数据处理能力，用户可以根据自己的需求选择合适的组件和API来构建复杂的数据处理流程和批处理任务。Flink Core: Flink核心组件提供了任务调度、作业管理、资源管理、容错机制和数据传输等基础功能。它负责将用户提交的作业进行解析、分配任务并对其进行执行。
2023-09-04 17:14:17
993
原创 大数据组件-Flume集群环境的启动与验证
本次用到的环境有：Oracle Linux 7.4，三台虚拟机，分别为master,slave1,slave2Hadoop2.7.4集群环境Flume1.6.0。
2023-09-02 18:21:03
5401
3
原创 大数据组件-Flume集群环境搭建
Flume是一个分布式、可靠和高可用性的数据采集工具，用于将大量数据从各种源采集到Hadoop生态系统中进行处理。在大型互联网企业的数据处理任务中，Flume被广泛应用。Flume集群环境介绍：Agent：Flume的基本组成单元是Agent，用于在不同的节点之间传输数据。Agent可以是单节点或分布式部署。Source：Source是Flume数据采集的起点，用于从数据源（如日志文件、网络流、消息队列等）中获取数据并将其发送到Channel中。
2023-09-01 18:18:43
1553
原创 大数据组件Sqoop-安装与验证
Sqoop是一个用于在Apache Hadoop和关系型数据库（如MySQL、Oracle等）之间进行数据传输的工具。它提供了简单易用的命令行界面，可以将结构化数据从关系型数据库导入到Hadoop中的分布式文件系统（如HDFS），或者将数据从Hadoop导出到关系型数据库。
2023-09-01 17:27:01
1615
原创 Hive-启动与操作（2）
上一篇文章写到了Hive的安装与配置，这篇文章接着上篇文章延伸Hive的启动与操作，如果Hive没有安装成功的小伙伴们可以参考我上一篇文章：Hive-安装与配置本次用到的环境有：1)Oracle Linux 7.42)Hadoop2.7.43)Hive2.1.14)Mysql5.5.575)Java1.8.0_1441.如果Hadoop服务没有启动，需要先启动Hadoop。2.初始化元数据。初始化成功后，会在操作窗口下面看到“schemaTool completed“初始化完成的字样
2023-08-30 19:09:05
1791
原创 Hive-安装与配置（1）
Hive在Hadoop生态系统中运行，依赖Hadoop分布式文件系统（HDFS）和YARN资源管理器。元数据存储：Hive使用关系型数据库（如MySQL、Derby等）来存储元数据，包括表的结构、分区信息、数据位置等。Hive服务：Hive提供Hive CLI（命令行界面）和HiveServer2两种服务方式。HiveCLI用于交互式查询和脚本执行，而HiveServer2允许通过JDBC或ODBC连接进行远程查询。
2023-08-30 18:51:44
1098
1
原创 HBase集群环境搭建与测试
HBase集群由多个RegionServer节点和一个或多个HMaster节点组成。HMaster节点负责管理元数据（例如表的位置、分区等），并协调集群中的各个节点。RegionServer节点负责存储和处理数据，并与HMaster节点通信以获取元数据信息。可靠性：HBase采用数据副本和RegionServer读写分离等机制来实现容错和恢复能力，即使部分节点出现故障，集群仍然可用。高性能：HBase通过将表分割成不同的Region来进行水平扩展，可以处理海量数据并具有很高的读写性能。
2023-08-28 20:22:53
2081
1
原创 ZooKeeper集群环境搭建
ZooKeeper集群由多个服务器节点组成，其中包括一个Leader节点和多个Follower节点。Leader节点负责处理所有客户端请求，并将数据同步到Follower节点。当Leader节点出现故障时，Follower节点会通过选举机制选举出新的Leader节点。ZooKeeper集群的主要特点包括：高性能：ZooKeeper采用基于内存的数据结构和高效的通信协议，具有很高的性能和低延迟。可靠性：ZooKeeper通过数据复制和选举机制来实现容错能力，即使部分节点出现故障，集群仍然可用。
2023-08-28 19:07:37
4089
1
原创 Spark on Yarn集群模式搭建及测试
Apache Spark是一个快速的、通用的大数据处理框架，它支持在各种环境中进行分布式数据处理和分析。在Yarn集群模式下搭建Spark环境可以充分利用Hadoop的资源管理和调度能力。本文将介绍如何搭建Spark on Yarn集群模式环境，步骤详细，代码量大，准备发车~
2023-08-24 19:17:44
2622
8
原创 Spark Standalone环境搭建及测试
Apache Spark是目前最流行的大数据处理框架之一，可用于分布式数据处理和分析。在Standalone模式下搭建Spark集群是学习和开发Spark应用程序的良好起点。
2023-08-24 18:03:13
2991
22
原创 Spark Local环境搭建及测试
Spark单机版的搭建，常用于本地开发测试Spark使用Scala语言编写，运行在Java虚拟机（JVM）当中，故在安装前检查下本机的Java虚拟机环境。用命令查询当前Java版本是否为6以上。
2023-06-25 16:53:57
4429
15
原创 【Linux】INFO: attempting to log in with the new key(s), to filter out any that are already...
【代码】【Linux】INFO: attempting to log in with the new key(s), to filter out any that are already...
2023-05-21 21:22:28
1627
原创 【Linux】使用gcc调试程序
🥇🥇程序写好了接下来做的就是调试程序，程序的调试对于程序员或者Linux管理员来说也是至关重要的。🥇🥇后期会持续更新我学习Linux以及在运维领域的学习记录，如果本篇文章对你有帮助，恳请大家支多多支持哦~
2023-05-11 18:10:15
2721
16
原创 【Linux】shell编程基础（超详细，入门看这一篇就够了）
1.Shell编程语言具有普通编程语言的很多特点，比如它也有循环结构和分支控制结构等，用这种编程语言编写的Shell程序与其他应用程序具有同样的效果2,shell支持具有字符串值的变量。shell变量不需要专门的说明语句，可通过赋值语句完成变量并予以赋值。在命令行或shell脚本文件中使用$name的形式引用变量name的值其中，name是变量名，它的值是string，"="是赋值符号。变量名由以字母或下划线开头的字母、数字和下划线字符序列组成。
2023-05-09 22:31:55
7430
10
原创 【Linux】配置网络和firewall防火墙（超详细介绍+实战）
通常所说的网络防火墙指的是隔离在本地网络与外界网络之间的一道防御系统。防火墙可以使内部网络与互联网之间或其他外部网络间互相隔离，限制网络互访，以此来保护内部网络。防火墙的分类方法多种多样，一般来说大致可分为三类，分别是“包过滤”、“应用代理”、“状态检查”。无论防火墙的功能多么强大，性能多么完善，归根结底都是在这三种技术的基础之上扩展功能的。
2023-05-09 00:18:28
7088
25
原创 【Linux】管理Linux文件权限属性介绍
2.字符5、6、7位表示该文件所有者所属群组都有此处指定的权限，简称为g(Group)的权限。3.字符8、9、10位表示该文件所有者所属组群以外的权限，简称为o(Other)的权限。1.字符2、3、4位表示该文件所有者的权限，简称为u(User)的权限。b、c:分别表示该文件为区块设备还是其他外围设备，为特殊文件类型。s、p:表示这些文件关系到系统的数据结构和管道，一般很少见。l:表示该文件是一个符号链接文件，指向另一个文件。-:表示该文件是一个普通文件。
2023-05-06 00:12:33
718
4
原创 【Linux】用户与组的操作详细介绍
用户的账户信息和组信息分别存储在用户的账户文件和组文件中，分别为/etc/passwd,我们可以用vim或者cat命令查看这个文件，创建的用户账户及其相关信息都存在这个文件中如图所示，每一行代表一个用户的资料，第一个用户是root，然后是一些标准账户，此类账户的shell为/sbin/nologin 代表无本地登录权限，最后一行是由系统管理员创建的普通账户：test用户名：加密口令： UID :GID:用户的描述信息：主目录：命令解释器（登录shell）
2023-04-29 14:25:24
1858
原创 【Linux】ubuntu18.04系统基础配置及操作
上一篇文章给大家详细展示了如何安装ubuntu.18.04桌面版的教程，此篇文章继续为大家对ubuntu18.04进行一个基础的配置教程，如果对系统安装还有问题的朋友可以参考我的上一篇文章
2023-04-21 19:10:51
1187
原创 【Linux】VMware安装unbuntu18.04虚拟机-超详细步骤(附镜像文件）
这次为大家带来的是在VMware创建的虚拟机上安装ubuntu18.04桌面版系统，ubuntu18.04也是目前比较流行的一个linux系统版本，接下来就一起来实操吧~本次我们用到的虚拟镜像文件是ubuntu-18.04.6-desktop-amd64.iso，在这里我也分享到大家，大家可以点击下方链接直接下载镜像微云链接：https://share.weiyun.com/inmCwemm 密码：7a7nyb镜像文件大小有2个多G，建议大家下载到一个剩余空间比较大的盘符1.首先我们打开VMware主
2023-04-20 00:22:42
6883
4
原创 【Linux】在ubuntu18.04系统中配置网络信息(超有用，完美解决，只看这一篇就行了）
【代码】在ubuntu18.04系统中配置网络信息(超有用，完美解决，只看这一篇就行了）
2023-04-03 00:23:20
3438
3
原创 hadoop完全分布式集群搭建（超详细）-大数据集群搭建
本次搭建完全分布式集群用到的环境有：jdk1.8.0hadoop-2.7.7本次搭建集群所需环境也给大家准备了，下载链接地址：https://share.weiyun.com/dk7WgaVk密码：553ubk本次完全分布式集群搭建需要提前建立好三台虚拟机，我分别把它们的主机名命名为:master,slave1,slave2一.配置免密登陆首先我们要实现三台虚拟机之间相互的ssh免密登陆在master虚拟机上进行操作：1. 创建ssh秘钥，输入如下命令，生成公私密钥，下方三个红框内都按回车键
2023-04-01 19:21:26
2125
1
原创 hadoop伪分布式搭建（超详细）
上一篇文章已经为大家介绍了如何在Linux系统上配置java环境，这为Hadoop的集群搭建提供了基础条件，因为Hadoop是由Java编写的如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:https://blog.csdn.net/beixige/article/details/129112527接下来是hadoop伪分布搭建的要准备东西：jdk1.8.0_221hadoop-2.7.7我都打包提供给大家了，下载地址：https://share.weiyun.com/dk7Wg
2023-03-05 22:31:59
3025
1
空空如也
求助！请问我网站一直有这个错误提示怎么办？
2021-04-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人