脚本
文章平均质量分 58
后端技术那点事
这个作者很懒,什么都没留下…
展开
-
Flume从入门实战到精通再到面试一文搞定
Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构,灵活简单。Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFS。案例需求使用 Flume 采集服务器本地日志,需要按照日志类型的不同,将不同种类的日志发往不同的分析系统。需求分析在实际的开发中,一台服务器产生的日志类型可能有很多种,不同类型的日志可能需要发送到不同的分析系统。...原创 2022-08-14 19:53:18 · 170 阅读 · 0 评论 -
Hadoop-HDFS的shell常用命令操作
1、常用命令操作1.1、-help:输出这个命令参数hadoop fs -help put1.2、-ls: 显示目录信息hadoop fs -ls /1.3、-mkdir:在HDFS上创建目录hadoop fs -mkdir /sanguo1.4、-moveFromLocal:从本地剪切粘贴到HDFShadoop fs -moveFromLocal weiguo.txt /sanguo1.5、-copyFromLocal:从本地文件系统中拷贝文件到 HDFS 路径去had原创 2021-06-13 19:40:21 · 540 阅读 · 0 评论 -
集群时间同步配置
1、时间同步如果服务器能连接外网,可以不采用集群时间同步,因为服务器会定期和公网时间进行校准;如果服务器不能连接外网,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步1.1、切换root用户1.2、检查ntp是否安装rpm -qa|grep ntp1.3、修改 hadoop102 的 ntp.conf 配置文件systemctl status ntpdsystemctl start ntpdsystemctl is-enabled ntpd1.原创 2021-06-13 00:31:54 · 292 阅读 · 0 评论 -
Hadoop集群启动、停止、查看的命令脚本
1、集群启动/停止方式总结1.1、整体启动/停止 HDFSstart-dfs.sh/stop-dfs.sh 1.2、整体启动/停止 YARNstart-yarn.sh/stop-yarn.sh 1.3、分别启动/停止 HDFS 组件hdfs --daemon start/stop namenode/datanode/secondarynamenode 1.4、启动/停止 YARNyarn --daemon start/stop resourcemanager/nodemanager原创 2021-06-12 23:51:22 · 3549 阅读 · 0 评论 -
Linux SSH登录
SSH免密登录主要解决不同服务间访问需要密码的问题给要访问的服务发送公钥在要访问的服务器中会出现一个认证文件再次访问不需要密码原创 2021-06-06 17:09:47 · 74 阅读 · 0 评论 -
Linux 集群分发脚本 xsync
1、scp(secure copy)安全拷贝1.1、定义scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)1.2、基本语法scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称1.3、案例实操在hadoop102上,将hadoop101中/opt/module目录下原创 2021-06-06 16:54:45 · 1139 阅读 · 3 评论 -
Linux 安装 hadoop
1、上传文件2、解压文件tar -zxvf hadoop-3.1.3.tar.gz -C /opt/model/解压到制定路径2、配置环境变量启动时,会遍历/etc/profile.d下的所有.sh文件,然后来进行全局生效,所以我们可以在/etc/profile.d下定义.sh文件来进行环境配置。进入该目录#JAVA_HOMEexport JAVA_HOME=/opt/model/jdk1.8.0_212export PATH=$PATH:$JAVA_HOME/bin#HA原创 2021-06-06 14:43:03 · 126 阅读 · 0 评论 -
VMware Linux JDK 环境安装
1.安装jdk环境1.1、查看自带的jdk环境rpm -qa |grep -i java1.2、卸载自带的jdk环境rpm -qa |grep -i java | xargs -n1 rpm -e --nodepsrpm -qa 查看安装的所有rpm软件包grep -i 忽略大小写xargs -n1 表示每次只传递一个参数rpm -e --nodeps 强制卸载软件1.3、上传、解压文件解压文件tar -zxvf jdk-8u212-linux-x64.tar.gz -C /原创 2021-06-06 14:14:49 · 727 阅读 · 2 评论 -
Shell 脚本常用语法以及案例
1、Shell概述Shell是一个命令行解释器,它接收应用程序/用户命令,然后调用操作系统内核。Shell还是一个功能相当强大的编程语言,易编写、易调试、灵活性强。2、Shell解析器2.1、查看Linux提供的Shell解析器cat /etc/shells一般常用的是前两个 sh bash2.2、sh 和 bash的关系也是就说 执行sh命令的时候 最终执行的还是bash 命令2.3、查看默认的解析器是echo $SHELLcentos7默认的解析器是/bin/b原创 2021-05-23 02:05:45 · 689 阅读 · 4 评论