Flink on yarn 之通过xshell5 在windows和linux互传文件

最新推荐文章于 2024-08-11 19:59:57 发布
最新推荐文章于 2024-08-11 19:59:57 发布
阅读量286 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/i_monster/article/details/79800615
版权
本文介绍了如何利用xshell5在Windows和Linux之间进行文件传输，以解决在Hadoop环境下快速部署JDK的需求。步骤包括在Windows上下载文件，设置xshell5的文件传输选项，连接Linux后使用rz命令传输文件。
摘要由CSDN通过智能技术生成

通过xshell5在linux和windows之间传送文件

因为要使用hadoop，然后要搞一个jdk，在项目里是别人的，缺少javac -version，然后就打算自己下载一个jdk，但是在oracle官网下载贼TM慢，在等待了一个小时以后终于放弃，查找如何在windows上传单linux的方法，最终找到一个不错的

第一步

首先你要在windows上下载一个东东吧（比如我的jdk1.8）

第二步

在打开xshell链接的过程中找到最下面

然后点开文件传输选项勾选"使用下列下载路径",然后我的话选择的我的jdk所在的位置，据说两个文件夹可以不一样，母鸡啊，然后就好了


第四步

链接进入界面找到你想下载的位置

然后键入rz

选择你想要下载的东东就ok

最低0.47元/天 解锁文章
i_monster
关注
大数据Hadoop实战篇
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-04 7430
大数据Hadoop实战，10分钟带你入门Hadoop，手把手教你搭建分布式集群系统
在Xshell的中的centos7下配置环境在执行yarn install时的解决方法
the_freekingdom的博客
07-19 411
在Xshell的中的centos7下配置环境在执行yarn install时的解决方法 今天继续配置环境，重新执行了上次关闭时无报错yarn install命令，但是这次报错了。 终于在历经一个上午的度娘一次次点播下，我成功了。 步骤如下： 先通过npm config set proxy null命令取消代理，然后再执行yarn install就可以了。 这种情况下知心话yarn install命令虽然可能还会有报错，但是下边有了这个标注： This module is OPTIONAL, you can
大数据（9a）Flink入门Java代码Windows和Linux上运行
ArYe
07-13 617
Flink简介1.1、Flink特点1.1.1、事件驱动（event-driven）1.1.2、无界数据流 和 有界数据流1.1.3、分层API2、Windows环境上跑Flink2.1、创建Maven工厂，导入依赖2.2、代码示例：词频统计2.2.1、自定义数据处理函数2.2.2、DataSet版2.2.3、DataStream版2.2.3.1、读本地文件2.2.3.2、读取网络数据 Apache Flink是为 分布式、高性能、随时可用以及准确的流处
程序在YARN上的运行的windows和Linux测试
mrye的博客
04-18 261
node manager在物理上应该跟data node部署在一起 resource manager在物理上应该独立部署在一台专门的机器上 1、修改配置文件： vi yarn-site.xml <configuration> <property> <name>yarn.resourcemanager.hostname</na...
xshell安装node
m0_43391490的博客
03-05 1330
xshell安装node xshell安装 xshell下载 直接在官网下载，或者找百度云资源 下载最新软件官方地址：http://www.netsarang.com/download/main.html 找download下面的有个免费版可以直接使用 或者百度云连接 稍后附上 xshell安装 直接傻瓜安装，下一步即可 建议：配套将xftp也直接安装，便于后面开发使用 Xshell使用 新建连接...
【1】flink-source读取数据
PacosonSWJTU的博客
04-15 1106
【README】 本文记录了flink读取不同数据源的编码方式，数据源包括； 集合（元素列表）； 文件 kafka； 自定义数据源； 本文使用的flink为 1.14.4 版本；maven依赖如下： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId>
xshell5连接Linux以及Windows与Linux之间文件的互传
qq_44867764的博客
02-27 588
下载安装 首先我们先在官网上下载xshell5，之后进行安装，安装时我们选择Free for Home/School即可。 查看Linux的ip地址以及相关服务是否开启 安装好xshell5之后我们要先在Linux上查看我们的ip地址、22号端口以及ssh服务是否已经开启。 查看ip：ipconfig 这里的ip地址我们要记住 随后netstat -ant命令查看我们的22号端口 随后ps -...
大数据技术之 Hadoop（入门详解）
最新发布
qq_45115959的博客
08-11 1206
各个模块分开启动/停止（配置 ssh 是前提）常用整体启动/停止 HDFS整体启动/停止 YARN各个服务组件逐一启动/停止分别启动/停止 HDFS 组件启动/停止 YARN。
【学习笔记】大数据技术之Hadoop（入门）
prague6695的博客
03-14 7673
大数据技术之Hadoop1. 概念1.1 Hadoop是什么？1.2 Hadoop发展历史10.3 Hadoop的三大发行版本1.4 Hadoop优势（4高）1.5 Hadoop组成，1.x 2.x 3.x区别（重点）1.5.1 HDFS架构概述1.5.2 YARN架构概述1.5.3 MapReduce架构概述1.5.4 HDFS、YARN、MapReduce三者关系1.6 大数据技术生态体系1.7 推荐系统框架图2. 环境准备3. Hadoop生产集群搭建4. 常见错误的解决方案 1. 概念 1.1 Ha
大数据学习之路-Hadoop
weixin_43441789的博客
01-29 4096
Hadoop1. 大数据导论1.1 大数据概念1.2 大数据特点1.3 大数据应用场景1.4 大数据部门组织结构2. Hadoop简介与大数据生态2.1 Hadoop的介绍2.2 Hadoop三大发行版本2.3 Hadoop组成2.3.1HDFS架构概述2.3.2 YARN架构概述2.3.3 MapReduce架构概述2.4 大数据技术生态体系3. Hadoop运行环境搭建3.1 模板虚拟机环境准备3.2 克隆虚拟机3.3 安装JDK3.4 安装Hadoop3.5 Hadoop目录结构4. Hadoop运行
Linux安装Kafka，并使用Flink连接读取Kafka
growing1224的博客
11-29 982
文章目录 前言 一、获取Kafka安装包 二、安装步骤 1.解压文件 2.重命名 3.设置环境变量 4.使环境变量生效 三、启动Kafka 1.先启动ZooKeeper服务 2.启动kafka服务 3.创建一个名为"topTest"的topic 4.打开Producer（生产者）服务 5.打开Customer（消费者）服务 四，Java连接kafka 1.maven依赖 2.实体类 3.连接工具类 4.运行 五，Flink连接读取Kafka 1.主方法类 2.运行
flink读取数据的两种方式
stone_tomcate的博客
02-15 1262
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment object Fli { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment //本地文件 val stream = env.readTextFile("C:\\Users\\Adminis..
【Flink】Flink读取数据的四种方式
HR的博客
02-09 6107
Flink读取数据的四种方式准备工作从集合中读取从文件中读取从Kafka中读取自定义读取方式 准备工作 Flink默认运行时是没有日志的，若想要出现日志，需要在pom文件添加 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <versio
Flink安装与运行——flink on yarn
雾幻的博客
01-22 1万+
Flink下载地址：https://flink.apache.org/downloads.html 因目前Flink尚未集成hadoop2.9版本，因此选择2.7稳定版进行安装（兼容） 以下操作请在集群的所有节点进行 解压重命名 $ tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz /opt/beh/core $ mv flink-1.7.1...
Flink实战(六）Flink读取Hdfs文件
热门推荐
wuhulala的休息室
10-11 2万+
接一下以一个示例配置来介绍一下如何以Flink连接HDFS 1. 依赖HDFS pom.xml 添加依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-hadoop-compatibility_2.11</artifactId> &...
yarn配置、启动、测试
再鹤的博客
08-14 3237
1： yarn共用hdfs的core-site.xml和hdfs-site.xml 。 2 : yarn-site.xml 配置： &amp;lt;property&amp;gt; &amp;lt;name&amp;gt;yarn.resourcemanager.webapp.address&amp;lt;/name&amp;gt; &amp;lt;value&amp;gt;bigdata0:8088&a
使用xshell配置安装hadoop
ABoLuoTaMei的专栏
12-12 3757
1.官网下载 hadoop https://hadoop.apache.org/releases.html 对于英语不好的，我就配两张图啦（我英语不好，有的帖子看起来看的有点费劲。这里我直接上图。官网发布的版本各个版本支持问题，可以去看一下，我选了2.2.7）     2. xshell登录以及上传解压文件，可以去我其他的博文里面看   3.重点开始了。首先找到hadoop-e...
Flink在YARN上支持的三种部署方式及使用方式
penriver的博客
09-10 3126
前提 安装yarn集群并启动 配置HADOOP_CLASSPATH环境变量 export HADOOP_CLASSPATH=`hadoop classpath` Flink在YARN上支持的部署方式 对于生产使用，建议Per-job or Application Mode部署Flink应用程序，因为这些模式为应用程序提供了更好的隔离。 详见参见： flink on yarn Application Mode Application Mode将在YARN上启动一个Flink集群，其中应用程序j
flink on yarn和flink on k8s的区别
05-13
Flink on YARN和Flink on Kubernetes（K8s）都是Flink在集群环境中的部署方式，它们的主要区别在于它们运行的容器环境不同。 Flink on YARN是指Flink在Hadoop YARN资源管理器上运行，使用YARN的资源管理和调度功能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值