FAtumai37-CSDN博客

原创 idea 报错 org.springframework.beans.factory.UnsatisfiedDependencyException:

坑！以下是报错内容： Error creating bean with name 'loginUsersService': Unsatisfied dependency expressed through field 'loginUsersRepository'; nested exception is org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'loginUsersR.

2020-06-16 10:55:38 358

转载 idea mvn install报错Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.12.4:test

解决方法：方法一：在命令行中 1 mvn clean package -Dmaven.test.skip=true 方法二：写入pom文件，注意父子级节点结构 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</artifactId> &l..

2020-06-16 10:27:58 526

原创 spark

spark is a unified analytics engine for large-scale data processing. spark是用于大规模数据处理的统一分析引擎为分布式数据集的处理提供了一个有效框架，并以高效的方式处理分布式数据集。 spark强调一站式解决方案。集批处理、实时流处理、交互式查询与图计算于一体，避免了多种运算场景下需要部署不同集群带来的资源浪费（运行同一任务，spark比hadoop快很多） spark的核心是spark-core，即RDD，分布式弹...

2020-05-16 17:28:37 162

原创 sparkGraphX 图像的聚合操作 aggreagte （统计各顶点的出入度，统计粉丝平均年龄）

1.统计各顶点的出入度： import org.apache.spark.graphx.{Edge, Graph, VertexId, VertexRDD} import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object demo1 { def main(args: Array...

2020-04-17 16:13:35 571

原创 spark-GraphX 图像的聚合操作aggregate （计算图中各节点到根节点的最远距离）

import org.apache.spark.graphx.{Edge, EdgeContext, Graph, VertexRDD} import org.apache.spark.{SparkConf, SparkContext} 方法一：join object aggregate_demo2 { //数据发送 [Int, String, Int]分别代表：[顶点的数据集（初...

2020-04-17 11:18:14 734

原创 idea开发spark环境搭建以及第一个wordcount程序

开发环境为 windows10端和 centOS6.5端一：windows端环境设置 1.JAVA环境配置：下载并安装javaJDK1.8.0 配置java环境变量：检查Java环境配置是否成功 2.安装scala2.11.12(注意不要安装最新或最高版本，视你的操作系统的Idea版本，否则会出现版本冲突）配置Scala环境变量：检测...

2020-04-17 10:46:54 345

原创 Flume 将本地文件通过 idea 进行wordcount

1. 安装flume到Linux，配置环境命令：vim /etc/profile，添加： 2. 编辑flume的conf下的flume-env.sh.tempalte，更名为flume-env.sh，并修改如下红框内容，添加你的JAVA_HOME路径查看flume环境命令：flume-ng version 3. 然后在 flume下创建一个文件夹 agent...

2020-03-26 21:27:52 274

原创 DAY1

大数据概念：大数据的定义是以超出常规手段收获的大量数据集，特点是具有多样性，准确性强，增长速度快，价值密度低，体量大。大数据的结构类型分三种，一种是结构化数据类型，一种是半结构化数据类型，另一种是非结构化数据类型。其中，半结构化数据类型两种常用类型是 XML文档和JSON，还有HTML,邮件，报表，结构化数据类型有关系数据表，非结构化数据类型有WEB日志，实时多媒体，社交网络数据，文档类型数据。...

2018-05-05 21:30:54 113

FAtumai37的博客