linux
酒吧舞
小数据领域十八线博主。
展开
-
利用rsync编写超便捷的集群同步脚本
问题场景:学习大数据过程中很令人头疼的是搭建集群后集群配置的同步问题,之前我们常常修改好一个节点的配置文件后需要使用SCP指令挨个分发到各个节点,这是非常低效且繁琐的。在这里分享一个利用远程同步工具rsync来实现高效一键分发的脚本。rsync远程同步工具:rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。基本语法:rsync -原创 2021-01-25 21:23:15 · 197 阅读 · 0 评论 -
“All mirror URLs are not using ftp, http[s] or file.Cannot find a valid baseurl for repo: base“解决方法
问题描述:突然发现最近当我们使用CentOS时候,经常系统会出一些弹窗,告诉我们”Problem connecting to a software source“,不明所以。另外就是当我们使用yum进行安装时,它也报错,说"All mirror URLs are not using ftp, http[s] or file.Cannot find a valid baseurl for repo: base"。这让我们很纳闷,之前还用得好好的啊?原因分析:后来查阅得知在几天前,官方停止了维护,原创 2020-12-23 21:14:03 · 2148 阅读 · 2 评论 -
Oozie的案例测试
文章目录前言一、解压examples上传到HDFS二、更改配置三、启动oozie案例总结前言开始前请确保已经配置好了oozie的环境,有关Oozie的安装配置问题请参照Oozie安装配置完整教程,安装好后我们用oozie自带的examples进行案例运行测试。一、解压examples上传到HDFS第一步,在安装目录下输入tar -zxvf oozie-examples.tar.gz解压到当前目录,之后会出现一个名为examples的文件夹里面放置了各种程序。第二步,上传到HDFS上,/opt/c原创 2020-12-20 19:22:47 · 262 阅读 · 0 评论 -
最简便sqoop安装步骤
文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下(示例):import numpy as npimport.原创 2020-12-11 20:28:08 · 383 阅读 · 0 评论 -
Oozie安装配置完整教程
文章目录前言一、Oozie的简介二、Oozie的下载三、Oozie的安装1.添加Hadoop权限2.配置驱动包3.启动准备a. 创建备用war包b. 将sharelib上传到HDFSc.创建Oozie数据库d.配置oozie-site.xml四、Oozie启动测试总结前言Oozie的整个安装配置流程是较为繁琐复杂的(相比其他Hadoop框架),但这篇教程会每步写的很详细,大家只要跟着我的教程一步一步走,都能安装配置成功。我这里配置的版本是CDH5.3.6下的Oozie4.0.0版本,大家如果用来学习可原创 2020-12-19 22:59:33 · 2569 阅读 · 4 评论 -
Linux虚拟机磁盘空间不足的解决方法
问题描述:其实很多时候,在我们虚拟机安装了一些软件后,你发现磁盘莫名其妙的空间就满了,这个时候我们需要学会找到Linux系统中的大文件以及清理Linux的磁盘。原因分析:一个主要原因是在vmware虚拟机下安装的linux系统,为了在windows和linux之间拷贝数据方便,所以在vmware上安装了vmware tools。在安装了vmware tool之后会在linux系统.cache/vmware/drag_and_drop/路径下创建一些缓存区目录,从windows拷贝文件的时候会先将文原创 2020-12-19 10:42:48 · 4528 阅读 · 3 评论 -
一招学会定时任务——Linux下的crontab调度
文章目录一、Crontab简介二、Crontab用法分析三、基本使用命令总结一、Crontab简介Linux crontab是用来定期执行程序的命令。当安装完成操作系统之后,默认便会启动此任务调度命令。crond 命令每分锺会定期检查是否有要执行的工作,如果有要执行的工作便会自动执行该工作。Linux下的任务调度分为两类,系统任务调度和用户任务调度。系统任务调度:系统周期性所要执行的工作,比如写缓存数据到硬盘、日志清理等。在/etc/crontab文件,这个就是系统任务调度的配置文件。用原创 2020-12-18 20:55:46 · 394 阅读 · 2 评论