Linux
文章平均质量分 66
Linux
灯下夜无眠
这个作者很懒,什么都没留下…
展开
-
Linux(centos7)部署spark
Spark部署模式主要有4种:Local模式(单机模式)、Standalone模式(使用Spark自带的简单集群管理器)、Spark On Yarn模式(使用YARN作为集群管理器)和Spark On Mesos模式(使用Mesos作为集群管理器)。下面介绍Local模式(单机模式)、跟Spark On Yarn模式(使用YARN作为集群管理器)的简单部署。spark on local模式以及spark on yarn模式部署完成。选择想要安装的版本下载,然后通过Linux客户端Xshell等上传到主机。原创 2024-04-03 14:32:47 · 553 阅读 · 0 评论 -
Linux(centos7)部署hive
在Hive 的 conf 目录内,新建hive-env.sh 跟 hive-site.xml两个文件。已部署完hadoop(HDFS 、MapReduce 、YARN)在hive目录使用普通用户新建一个文件夹,存放日志输出。在MySQL 中新建数据库: hive。要先启动hdfs集群、yarn集群。1、安装元数据服务MySQL。hive正常启动,部署完成。3、下载解压安装hive。6、初始化hive元数据。4、提供mysql驱动。2、配置hadoop。7、启动hive服务。原创 2024-03-27 12:00:40 · 786 阅读 · 1 评论 -
Linux(centos7)部署hadoop集群
dfs.datanode.data.dir/data/dn 说明:配置DataNode存储实际数据块的本地目录位置,这里是 /data/dn。dfs.datanode.data.dir.perm700 说明:该配置项设置DataNode存储数据块目录的权限模式。dfs.namenode.name.dir/data/nn 说明:此配置项指定了NameNode存储元数据信息(如文件系统的命名空间,文件到数据块映射等)的本地目录位置,这里是 /data/nn。bin:存放Hadoop的各类程序(命令)原创 2024-03-26 11:41:16 · 677 阅读 · 0 评论 -
Linux简单基础配置
以下配置一般需要切换为root用户下进行。然后在每台主机对应修改即可。执行过程输入密码确认即可。原创 2024-03-21 18:09:48 · 632 阅读 · 0 评论 -
Ubuntu20配置仅主机网络
进入终端:vim /etc/netplan/01-network-manager-all.yaml。Ubuntu20配置仅主机网络,使虚拟机与物理机网络联通且配置固定IP。网关:gateway4: 192.168.138.1。要固定的IP:192.168.138.108。改静态:dhcp4: false。原创 2023-08-10 17:35:12 · 282 阅读 · 0 评论 -
Linux常用操作
公认端口: 1~1023 ,通常用于一些系统内置或知名程序的预留使用,如 SSH 服务的 22 端口, HTTPS 服务的443 端口,非特殊需要,不要占用这个范围的端口。在 Linux 系统中, $ 符号被用于取”变量”的值,取得环境变量的值就可以通过语法: $ 环境变量名 来取得。IP 地址相当于小区地址,在小区内可以有许多住户(程序),而门牌号(端口)就是各个住户(程序)的联系。注册端口: 1024~49151 ,通常可以随意使用,用于松散的绑定一些程序 \ 服务。原创 2023-08-08 22:08:53 · 464 阅读 · 0 评论