FAtumai37
码龄7年
求更新 关注
提问 私信
  • 博客:3,433
    3,433
    总访问量
  • 7
    原创
  • 0
    粉丝
  • 19
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:山东省
加入CSDN时间: 2018-05-05
博客简介:

FAtumai37的博客

查看详细资料
个人成就
  • 获得4次点赞
  • 内容获得0次评论
  • 获得2次收藏
  • 博客总排名1,020,732名
创作历程
  • 7篇
    2020年
  • 1篇
    2018年
成就勋章

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 0

TA参与的活动 0

兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
创作活动更多

王者杯·14天创作挑战营·第2期

这是一个以写作博客为目的的创作活动,旨在鼓励码龄大于4年的博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。 注: 1、参赛者可以进入活动群进行交流、分享创作心得,互相鼓励与支持(开卷),答疑及活动群请见https://bbs.csdn.net/topics/619735097 2、文章质量分查询:https://www.csdn.net/qc 我们诚挚邀请你们参加为期14天的创作挑战赛!

83人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

idea 报错 org.springframework.beans.factory.UnsatisfiedDependencyException:

坑!以下是报错内容:Error creating bean with name 'loginUsersService': Unsatisfied dependency expressed through field 'loginUsersRepository'; nested exception is org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'loginUsersR.
原创
发布博客 2020.06.16 ·
423 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

idea mvn install报错Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.12.4:test

解决方法:方法一:在命令行中 1 mvn clean package -Dmaven.test.skip=true 方法二:写入pom文件,注意父子级节点结构<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</artifactId> &l..
转载
发布博客 2020.06.16 ·
566 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

spark

spark is a unified analytics engine for large-scale data processing.spark是用于大规模数据处理的统一分析引擎为分布式数据集的处理提供了一个有效框架,并以高效的方式处理分布式数据集。spark强调一站式解决方案。集批处理、实时流处理、交互式查询与图计算于一体,避免了多种运算场景下需要部署不同集群带来的资源浪费(运行同一任务,spark比hadoop快很多)spark的核心是spark-core,即RDD,分布式弹...
原创
发布博客 2020.05.16 ·
197 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

spark-GraphX 图像的聚合操作aggregate (计算图中各节点到根节点的最远距离)

import org.apache.spark.graphx.{Edge, EdgeContext, Graph, VertexRDD}import org.apache.spark.{SparkConf, SparkContext}方法一:joinobject aggregate_demo2 { //数据发送 [Int, String, Int]分别代表:[顶点的数据集(初...
原创
发布博客 2020.04.17 ·
792 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

sparkGraphX 图像的聚合操作 aggreagte (统计各顶点的出入度,统计粉丝平均年龄)

1.统计各顶点的出入度:import org.apache.spark.graphx.{Edge, Graph, VertexId, VertexRDD}import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object demo1 { def main(args: Array...
原创
发布博客 2020.04.17 ·
618 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

idea开发spark环境搭建 以及第一个wordcount程序

开发环境为 windows10端 和 centOS6.5端一:windows端环境设置1.JAVA环境配置:下载并安装javaJDK1.8.0配置java环境变量:检查Java环境配置是否成功2.安装scala2.11.12(注意不要安装最新或最高版本,视你的操作系统的Idea版本,否则会出现版本冲突)配置Scala环境变量:检测...
原创
发布博客 2020.04.17 ·
396 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

Flume 将 本地文件 通过 idea 进行wordcount

1. 安装flume到Linux,配置环境命令:vim /etc/profile, 添加:2. 编辑flume的conf下的flume-env.sh.tempalte,更名为flume-env.sh,并修改如下红框内容,添加你的JAVA_HOME路径查看flume环境命令:flume-ng version3. 然后在 flume下创建一个文件夹 agent...
原创
发布博客 2020.03.26 ·
312 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

DAY1

大数据概念:大数据的定义是 以超出常规手段收获的大量数据集,特点是具有多样性,准确性强,增长速度快,价值密度低,体量大。大数据的结构类型分三种,一种是结构化数据类型,一种是半结构化数据类型,另一种是非结构化数据类型。其中,半结构化数据类型两种常用类型是 XML文档和JSON,还有HTML,邮件,报表,结构化数据类型有关系数据表,非结构化数据类型有WEB日志,实时多媒体,社交网络数据,文档类型数据。...
原创
发布博客 2018.05.05 ·
131 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏