大数据
文章平均质量分 93
LKID体
欢迎交流学习,wx号:lkidti。或关注微信公众号LKIDTI
展开
-
spark学习之 GraphX—预测社交圈子
spark学习之 GraphX—预测社交圈子文章目录spark学习之 GraphX—预测社交圈子一、计算连通分量二、社交圈子预测1三、社交圈子预测2一、计算连通分量任务描述连通分量是预测社交圈子的基础,使用连通分量算法能够快速找到一个图中的小圈子。利用GraphX对图1进行创建并运用连通分量算法找出图中的连通分量:import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}i原创 2021-10-25 10:58:52 · 1097 阅读 · 1 评论 -
企业spark案例 —出租车轨迹分析
企业spark案例 —— 出租车轨迹分析文章目录企业spark案例 —— 出租车轨迹分析一、数据清洗二、数据分析三、出租车轨迹图表展示一、数据清洗学习目标1.如何使用 SparkSQL 读取 CSV 文件2.如何使用正则表达式清洗掉多余字符串。将出租车轨迹数据规整化,清洗掉多余的字符串,并使用 DataFrame.show() 打印输出。清洗掉红框里面的 $ 、@ 字符,由于这两字符出现的次数没有规律,所以需要使用正则匹配。清洗后内容如下:import org.apache.spa原创 2021-10-22 21:58:49 · 4711 阅读 · 1 评论 -
educoder的spark算子学习
educoder的spark学习一、spark安装本次是在educoder这个平台上使用的,所以对于spark的安装方式是local本地模式,平台上有完整的安装步骤,在这里就不在继续叙述了,感谢理解二、pyspark的算子学习2.1、Transformation - map# -*- coding: UTF-8 -*-from pyspark import SparkContextif __name__ == "__main__": #********** Begin *****原创 2021-10-22 21:47:03 · 1676 阅读 · 0 评论 -
java要有java的范儿
java的泛型文章目录java的泛型一、泛型的概念二、泛型的引入背景eg1:三、泛型类四、泛型方法五、泛型接口六、类型通配符一、泛型的概念所谓泛型,就是允许在定义类、接口时通过一个标识表示类中某个属性的类型或者是某个方法的返回值及参数类型。这个类型参数将在使用时(例如,继承或实现这个接口,用这个类型声明变量、创建对象时确定(即传入实际的类型参数,也称为类型实参)。二、泛型的引入背景集合容器类在设计阶段/声明阶段不能确定这个容器到底实际存的是什么类型的对象,所以在JDK1.5之前只能把元素类型设计为原创 2021-07-27 19:09:53 · 140 阅读 · 0 评论 -
java的反射与注解
java的反射与注解文章目录java的反射与注解一、反射1.1、反射概述1.2、使用反射1.2.1 Class类二、注解2.1 什么是注解2.2 内置的注解2.2.1 Override2.3 自定义注解2.4 元注解一、反射1.1、反射概述JAVA反射是在运行状态中,对于任意一个类,都能够知道这个类的所有属性和方法;对于任意一个对象,都能够调用它的任意方法和属性;这种动态获取信息以及动态调用对象方法的功能称为java语言的反射机制。反射的功能:在运行时获取任意一个对象所属的类型信息,包括修饰符原创 2021-07-25 21:30:29 · 189 阅读 · 2 评论 -
该到重点啦—java的核心技术
该到原创 2021-07-22 20:58:19 · 696 阅读 · 1 评论 -
你还没有对象吗?java带你创建一个吧
你还没有对象吗?java带你创建一个吧一、 对象概念面向机器语言计算机处理信息的早期语言是所谓的机器语言,使用机器语言进行程序设计需要面向机器来编写代码,即需要针对不同的机器编写诸如0101 1100这样的指令序列。面向过程语言随着计算机硬件功能的提高,在20世纪60年代出现了面向过程设计语言,如C语言等。用这些语言编程也称为面向过程编程。语言把代码组成叫做过程或函数的块。每个块的目标是完成某个任务。使用这些语言编写代码指令时,不必再去考虑机器指令的细节,只要按着具体语言的语法要求去编写原创 2021-07-19 20:54:21 · 204 阅读 · 0 评论 -
带你学习java的数组军队列
java的数组小人排列一、数组概述1.1、数组概念数组(Array),是多个相同类型数据一定顺序排列的集合,并使用一个名字命名,并通过编号的方式对这些数据进行统一管理。1.2、 数组的特点:1 数组是序排列的2 数组属于引用数据类型的变量。数组的元素,既可以是基本数据类型,也可以是引用数据类型3 创建数组对象会在内存中开辟一整块连续的空间4 数组的长度一旦确定,就不能修改。1.3、数组的定义数组的创建:元素类型[] 数组名 = new 元素类型[元素个数或数组长度];原创 2021-07-16 20:06:38 · 123 阅读 · 2 评论 -
java的基本语法学习总结
java的基本语法一、关键字与标识符1.1、java关键字的使用定义:被Java语言赋予了特殊含义,用做专门用途的字符串(单词)特点:关键字中所字母都为小写二、基本变量类型三、运算符四、流程控制...原创 2021-07-15 20:48:39 · 124 阅读 · 2 评论 -
java学习——环境准备(1)
文章目录一、背景二、java语言概述2.1、java学习整体的内容2.2、Java语言的特点2.3、环境准备2.4、环境变量配置三、hello world一、背景最近想从新过一遍大数据,所以开了一个新坑——java学习。当然还是要确定为什么要学习java,java去开发一些大型项目来说是非常稳定的,而对于简单的python而言,构建一个复杂工程它的健壮性就是太好了。所以这在这个七月会将java SE 的部分从新过一遍,感兴趣的可以一起学习交流一下哈。二、java语言概述2.1、java学习整体的原创 2021-07-11 16:54:17 · 259 阅读 · 0 评论 -
手把手的教你搭建hadoop、hive
大数据集成环境准备本次大数据环境准备由于时间有限,环境搭建是简易版本,只搭建了hadoop伪分布式,和hive数仓工具,但是不影响使用。一、软件准备大数据集成的数据仓库的安装我们需要使用到软件有:Ubantu16jdk-8u162-linux-x64.tar.gzhadoop-2.7.1.tar.gzapache-hive-1.2.1-bin.tar.gzmysql-connector-java-5.1.17.jar软件安装放在Download中二、hadoop环境准备2.1 、J原创 2021-06-25 15:31:08 · 727 阅读 · 0 评论