- 博客(12)
- 收藏
- 关注
RSS订阅原创 Vue2.0
axios是一个基于 promise 的 HTTP 库, 主要用于：发送异步请求获取数据。常见的方法：url: '请求的服务器',method: '请求方式', // 默认是 get// GET请求参数params: {参数名: 参数值},// POST请求参数, 如果使用axios.post,则参数在url之后直接书写,不需要该位置传递参数data: {参数名: 参数值},// 响应数据格式,默认jsondata: {}, //真正的响应数据(响应体)
2023-08-29 15:21:31
67
1
原创 springcloud-ribbon和openfein组件
使用springcloud-alibaba中的ribbon负载均衡和openfeign组件
2022-11-02 18:21:28
498
原创 Spark RDD算子操作
一.、RDD概述 - RDD 是 Spark提供的最重要的抽象概念，它是一种有容错机制的特殊数据集合，可以分布在集群的结点上，以函数式操作集合的方式进行各种并行操作。 - RDD 是 Spark 的计算模型。RDD（Resilient Distributed Dataset）叫做弹性的分布式数据集合，是Spark 中最基本的数据抽象，它代表一个不可变、只读的，被分区的数据集。操作 RDD就像操作本地集合一样，有很多的方法可以调用，使用方便，而无需关心底层的调度细节。二、R...
2021-10-15 09:19:21
191
原创 SparkRdd算子练习
练习一：valrdd=sc.parallelize(List("dog","an","cat","an","cat"))第一步：通过获取rdd中每个元素的长度创建新的rdd1第二步：通过zip把rdd1和rdd组合创建rdd2第三步：去重第四步：输出结果val rdd = sc.parallelize(List("dog","an","cat","an","cat"))//第一步：通过获取rdd中每个元素的长度创建新的rdd1val rdd1 = rdd.map(_....
2021-08-10 16:34:23
796
原创 Spark-Shell启动与运行
一、运行spark-shell命令 进入spark-2.1.0-bin-hadoop2.4目录下 输入spark-shell命令二、Spark Rdd简单操作 1.在Linux本地文件加载数据 创建Rddcollect() 以数组的形式返回数据集的所有元素 val rdd = sc.textFile("file:///root/word.txt")rdd.collect()2.rdd中简单的运算和排序map() ...
2021-08-09 17:25:26
666
原创 Hadoop高可用集群搭建
Hadoop集群配置配置文件 功能 hadoop.env.sh 配置Hadoop运行所需的环境变量 yarn.env.sh 配置Yarn运行所需的环境变量 core-site.xml Hadoop核心全局配置文件 hdfs-site.xml HDFS配置文件，继承core-site.xml配置文件 mapred-site.xml MapReduce配置文件，继承core-site.xml配置文件 yarn-site.xml Yarn配置文
2021-08-05 13:24:49
113
原创 Zookeeper的安装和部署
zookeeper的安装zookeeper是用来进行分布式服务的协调，集群也是一个主从集群，他一般是由一个leader和多个follower组成 zookeeper的安装步骤 1.下载安装包 2.上传安装包 3.解压安装包并移动到指定的文件目录下 (1)解压安装包tar -zxvf apache-zookeeper-3.5.9-...
2021-08-04 16:43:33
102
原创 HDFS的JavaAPI详情
一、在windows下安装配置Hadoop <1>、安装目录一、在windows下安装配置Hadoop <1>、安装<二>、配置对应的环境变量二、HDFS的JavaAPI操作 1.下载并解压Hadoop-2.4.1安装包 2.将文件hadoop.dll和文件winytils.exe放入hadoop-2.4.1解压后文件夹中bin目录下<...
2021-08-02 15:27:09
489
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人