![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
好程序员IT
这个作者很懒,什么都没留下…
展开
-
大数据教程系列之大数据概念
好程序员大数据培训分享大数据概念,随着大数据时代的到来,“大数据”已经成为互联网信息技术行业的流行词汇。关于什么是大数据这个问题,大家比较认可大数据的“4V”说法。大数据的四个V,即说的是大数据的四个特征,分别是数据量大(Volume)、数据类型繁多(Variety)、处理速度快(Velocity)、价值密度低(Value)。 1、数据量大(Volume) 如果把印刷在纸上的文字和图形也看成数据的话,那么人类历史上第一次数据爆炸发生在造纸术和印刷术发明的时期。而从1986年开始到2010年的二十多年原创 2020-05-29 11:01:06 · 399 阅读 · 0 评论 -
好程序员大数据培训分享怎样进行大数据入门学习
好程序员大数据培训分享怎样进行大数据入门学习,对于大数据的入门学习,基础不一样,起点就会不一样。 今天先来说说,对于零基础的同学想要学习大数据的方式方法吧!很多人可能感到不可思议,零基础怎么可能学习大数据,没有编程基础怎么能入门呢? 其实这个观点是很正确的,对于大数据的开发而言,是需要一定的编程基础的,所以我们的大数据入门级课程就落在了编程语言的学习。 现在一般的培训机构的大数据入门课...原创 2020-04-23 14:35:24 · 290 阅读 · 0 评论 -
好程序员大数据视频教程之快速入门Scala篇
随着大数据应用的日益广泛,与大数据相关的技术也成为人们关注的焦点,Scala是其中之一。Scala是一门多范式的编程语言,设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。 对于新手来说,Scala相对比较复杂,其看起来灵活的语法并不容易掌握,但对于熟悉Scala的用户来说,Scala是一把利器,它提供了许多独特的语言机制,可以以库的形式轻易无缝添加新的语言结构。...原创 2020-02-14 13:28:51 · 186 阅读 · 0 评论 -
好程序员大数据教程分享超详细大数据学习路线
随着信息产业的迅猛发展,大数据应用逐渐落地,行业人才需求量逐年扩大。大数据成为目前最具前景的高薪行业之一,大数据分析工程师、大数据开发工程师等大数据人才也成为市场紧缺型人才,薪资一涨再涨。 很多人想要加入到大数据开发行列,却又不知道怎么入手。接下来就给大家分享一份完整的大数据学习路线,助力大家快速入门! 第一阶段为JAVASE+MYSQL+JDBC,主要学习一些Java语言的概念,如字...原创 2020-02-13 13:48:43 · 246 阅读 · 0 评论 -
一份很好的Java学习路线-建议收藏
各种各样的编程语言不断崛起,但唯有Java是牢牢占据着老大的位置,目前几乎90%以上的大中型互联网应用系统在服务器端开发首选Java。因此,也是吸引了不少年轻人投入到Java的学习之中。但不得不说,Java作为老牌编程语言,学习起来还是需要系统才行的。不少小伙伴会通过在网络上找各种各样的学习视频去研究学习,却往往缺乏了系统全面的学习路线。所以,今天就跟大家分享一份系统的Java学习路线图,零基...原创 2020-02-05 17:27:12 · 104 阅读 · 0 评论 -
好程序员大数据教程分享实用的教程系列之继承
好程序员大数据实用教程之继承,首先讲一下继承的基本概念如果有多个类中有相同的特征和行为(属性和方法),并且这多个类之间从逻辑上讲是有一定的关联的。那么此时,我们可以将这些共同的部分单独写到一个类中。Monkey: name, age, gender, walk(), sleep(), eat()Tiger: name, age, gender, walk(), sleep(), ea...原创 2019-12-11 15:15:59 · 135 阅读 · 0 评论 -
大数据高阶教程分享之2天学会Lambda表达式
Lambda表达式(也称闭包),是Java8发布的特性中最受期待和欢迎的新特性之一。它可以将大量替代匿名内部类的使用,在简化代码的同时,更突出了原来匿名内部类中最重要的那部分包含真正逻辑的代码。对于学习大数据的同学来说,当习惯使用类似Scala之类的函数式编程语言以后,你会发现Lambda的可怕之处——用极少的代码完成了之前一个类做的事情!有部分同学苦恼Lambda难学,其实只...原创 2019-11-27 17:03:24 · 166 阅读 · 0 评论 -
[2019大数据视频教程]小白3天速成调度框架oozie(源码+视频+笔记
[2019大数据视频教程]小白3天速成调度框架oozie(源码+视频+笔记)1、什么是OozieApache Oozie是工作流调度用在Hadoop中。它是一个运行相关的作业工作流系统。这里,用户被允许创建向非循环图工作流程,其可以在并列 Hadoop 并顺序地运行。它由两部分组成:工作流引擎:一个工作流引擎的职责是存储和运行工作流程,由Hadoop 作业组成:MapReduce...原创 2019-11-25 15:11:52 · 165 阅读 · 0 评论 -
[2019好程序员大数据教程]Spark快速入门(72集视频+源码+笔记)
好程序员大数据教程分享Spark快速入门(72集视频+源码+笔记)什么是Spark?Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是...原创 2019-11-23 14:58:29 · 316 阅读 · 0 评论 -
SparkGraphx从入门到精通(33集视频+源码+笔记)
1、什么是Spark GraphX?Spark GraphX是一个分布式的图处理框架。社交网络中,用户与用户之间会存在错综复杂的联系,如微信、QQ、微博的用户之间的好友、关注等关系,构成了一张巨大的图,单机无法处理,只能使用分布式图处理框架处理,Spark GraphX就是一种分布式图处理框架。2、Spark GraphX优点:相对于其他分布式图计算框架,Graphx最大的贡献,...原创 2019-11-22 20:36:55 · 244 阅读 · 0 评论 -
[2019好程序员大数据教程]6天如何玩转HBase?(57集视频+源码+笔记)
什么是HBase?HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目...原创 2019-11-22 14:24:43 · 271 阅读 · 1 评论 -
好程序员大数据教程Scala系列之类
好程序员大数据教程Scala系列之类1.类的定义Scala 访问修饰符基本和Java的一样,分别有:private,protected,public。如果没有指定访问修饰符符,默认情况下,Scala 对象的访问级别都是 public。私有(Private)成员用private 关键字修饰,带有此标记的成员仅在包含了成员定义的类或对象内部可见,同样的规则还适用内部类。cl...原创 2019-10-22 14:46:46 · 127 阅读 · 0 评论 -
好程序员大数据教程分享Scala系列之模式匹配和样例类
好程序员大数据教程分享Scala系列之模式匹配和样例类1.样例类在Scala中样例类是一中特殊的类,样例类是不可变的,可以通过值进行比较,可用于模式匹配。定义一个样例类:构造器中每一个参数都是val,除非显示地声明为var伴生对象提供apply ,让你不使用new关键字就能构造出相应的对象caseclassPoint(x: Int, y: Int)创建样例类对象...原创 2019-10-21 18:05:59 · 157 阅读 · 0 评论 -
好程序员大数据教程分享Scala系列之特质
好程序员大数据教程分享Scala系列之特质,特质的定义除了使用关键字trait之外,与类定义无异。特质用来在类之间进行接口或者属性的共享。类和对象都可以继承特质,特质不能被实例化,因此也没有参数。一旦特质被定义了,就可以使用extends或者with在类中混入特质。1 作为接口使用的特质特质的定义:traitLogger{//这是一个抽象方法,特质中未被实现的方...原创 2019-10-21 16:44:05 · 280 阅读 · 0 评论 -
好程序员大数据教程分享Scala系列之文件以及正则表达式
好程序员大数据教程分享Scala系列之文件以及正则表达式1 读取行导入scala.io.Source后,即可引用Source中的方法读取文件信息。importscala.io.SourceobjectFileDemo extendsApp{valsource = Source.fromFile("C:/Users/admin/res.txt")//返回一个迭代器...原创 2019-10-18 14:45:15 · 109 阅读 · 0 评论 -
好程序员Java教程分享Java的五大特点
好程序员Java教程为大家分享Java的五大特点希望对初学者有所帮助。一、Java的(五大)特点:1.简单性相对于c语言来说c语言的核心 指针(保存地址)*pJava中没有指针的概念(使用的是引用概念)2.面向对象类 对象 接口面向对象的特性:封装 继承 多态3.分布式双十一京东淘宝 1000亿 5...原创 2019-10-17 11:42:21 · 163 阅读 · 0 评论 -
好程序员大数据教程Scala系列之样例类_Option_偏函数
好程序员大数据教程Scala系列之样例类_Option_偏函数,在Scala中Option类型样例类用来表示可能存在或也可能不存在的值(Option的子类有Some和None)。Some包装了某个值,None表示没有值。objectOptionDemo {defmain(args: Array[String]) {valmap = Map("a"-> 1, "...原创 2019-10-17 11:20:40 · 99 阅读 · 0 评论 -
好程序员大数据教程分享Scala系列之Option_偏函数_String
好程序员大数据教程分享Scala系列之Option_偏函数_StringOption类型在Scala中Option类型样例类用来表示可能存在或也可能不存在的值(Option的子类有Some和None)。Some包装了某个值,None表示没有值。objectOptionDemo {defmain(args: Array[String]) {valmap = Map(...原创 2019-10-14 16:42:23 · 278 阅读 · 0 评论 -
好程序员大数据分享Scala系列之柯里化
好程序员大数据教程Scala系列之柯里化,柯里化是把接受多个参数的函数变换成接受一个单一参数(最初函数的第一个参数)的函数,并且返回接受余下的参数而且返回结果的新函数的技术。下面先给出一个普通的非柯里化的函数定义,实现一个加法函数:scala>defplainOldSum(x:Int,y:Int) = x + yplainOldSum: (x: Int, y: Int)...原创 2019-10-14 16:30:15 · 121 阅读 · 0 评论 -
好程序员大数据教程Scala系列之继承
好程序员大数据教程Scala系列之继承1. 扩展类在Scala中扩展类的方式和Java一样都是使用extends关键字可以把类声明为final,使之不能扩张也可以把单个方法或者字段声明为final,以确保它不能被重写,注意和Java的不同,Java中final修饰的字段意味着不可变。5.3.2. 重写方法在Scala中重写一个非抽象的方法必须使用override修饰符在...原创 2019-10-12 16:38:07 · 137 阅读 · 0 评论 -
好程序员web前端分享前端javascript练习题一
好程序员web前端教程将会为大家持续分享前端javascript练习题系列。Math 对象1.编写一个函数,获得一个十六进制的随机颜色的字符串(例如:#20CD4F)方法:functionf2(){varstr="0123456789abcdef";varcolor="#";for(vari=0;i<6;i++){...原创 2019-10-11 16:20:58 · 265 阅读 · 0 评论 -
好程序员大数据学习路线分享Scala系列之映射Map
好程序员大数据学习路线分享Scala系列之映射Map首先我们先来看一下什么是映射(map)在Scala中,把哈希表这种数据结构叫做映射。1.构建映射在Scala中,有两种Map,一个是immutable包下的Map,该Map中的内容不可变;另一个是mutable包下的Map,该Map中的内容可变。构建一个不可变的map使用元组方式构建构建一个可变的map2...原创 2019-09-04 14:34:44 · 89 阅读 · 0 评论 -
好程序员大数据学习路线分享Scala系列之数组
好程序员大数据学习路线分享Scala系列之数组,数组(Array)1.定长数组创建一个定长数组的方式使用Array定义一个长度不变的数组objectArrayDemo {defmain(args: Array[String]){//初始化一个长度为8的定长数组,其所有元素均为0valarr1 =newArray[Int](8)//...原创 2019-09-03 16:52:34 · 105 阅读 · 0 评论 -
好程序员大数据学习路线分享Scala分支和循环
好程序员大数据学习路线分享Scala分支和循环3.3.条件表达式表达式:一个具有执行结果的代码块。结果是具体的值或者()表达式的思考方式:以表达式为中心的编程思想1.表达式和语句的区别:表达式有返回值,语句被执行。表达式一般是一个语句块,执行后,返回一个值2.不使用return语句,最后一个表达式即返回值if/else表达式有值,这个值就是跟在if或者else之后的表达式...原创 2019-09-02 17:23:44 · 108 阅读 · 0 评论 -
好程序员大数据学习路线分享Scala系列之基础篇
好程序员大数据学习路线分享Scala系列之基础篇先了解Scala1.1什么是ScalaScala 是 Scalable Language 的简写,是一门多范式的编程语言。Scala设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。函数式编程两种理念:就是一种抽象程度很高的编程范式,纯粹的函数式编程语言...原创 2019-08-30 16:46:35 · 167 阅读 · 0 评论 -
好程序员大数据学习路线分享MapReduce全流程总结
好程序员大数据学习路线分享MapReduce全流程总结,首先,MapReduce是什么?干什么用的? MapReduce是一个基于yarn的分布式、离线、并行的计算框架,主要职责是处理海量数据集,是Hadoop生态圈中一个非常重要的一个工具,所以MapReduce是大数据学习的一个很关键的知识点,需要大家好好掌握! MapReduce其中包含许多组件,但最主要的还是Job提交和Ma...原创 2019-08-29 15:56:17 · 127 阅读 · 0 评论 -
好程序员大数据学习路线hbase快速入门
好程序员大数据学习路线hbase快速入门Hbase简介1.Hbase是什么Apache HBase是Hadoop数据库,一个分布式的、可伸缩的大数据存储。当您需要对大数据进行随机的、实时的读/写访问时,请使用Apache HBase。这个项目的目标是在商品硬件的集群上托管非常大的表——数十亿行百万列的列。Apache HBase是一个开源的、分布式的、版本化的、非关系的数据库,它模...原创 2019-07-29 16:41:00 · 212 阅读 · 0 评论 -
好程序员大数据干货分享:HDFS基本概念
1.1 HDFS的介绍 源自于Google的GFS论文 发表于2003年10月 HDFS是GFS克隆版 ,HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统,运行在大量普通廉价机器上,提供容错机制,为大量用户提供性能不错的文件存取服务 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持,并通过MR来实现对分布式...原创 2019-07-09 16:04:35 · 176 阅读 · 0 评论 -
好程序员大数据分享MapReduce中job的提交流程
好程序员大数据分享MapReduce中job的提交流程一、MapReduce的定义MapReduce是面向大数据并行处理的计算模型、框架和平台。它的主要思想是:map(映射)和reduce(归约)1)MapReduce是一个基于集群的高性能并行计算平台2)MapReduce是一个并行计算与运行软件框架3)MapReduce是一个并行程序设计模型与方法二、MapRedu...原创 2019-06-05 16:20:02 · 100 阅读 · 0 评论 -
好程序员大数据学习路线之大数据自学路线一
好程序员大数据学习路线之大数据自学路线一System类exit():终止虚拟机gc():运行垃圾回收机制currentTimeMillis():返回以毫秒为单位的当前时间arraycopy(Object src,int srcPos, Object dest,int destPos,int length):从指定源数组中复制一个数组,复制从指定的位置开始,到目标数组的指定位...原创 2019-09-18 10:18:14 · 142 阅读 · 0 评论 -
好程序员大数据学习路线之大数据自学路线二
好程序员大数据学习路线之大数据自学路线二lambda表达式比较lambda表达式和匿名内部类:lambda表达式就是简单的匿名内部类匿名内部类可以为任意接口创建实例,不管接口有多少抽象方法;lambda表达式只能为函数式接口创建实例(即只能有一个抽象方法)基本语法:(参数)->表达式、(参数)->{方法体;}1.形参:形参列表允许省略形...原创 2019-09-18 10:39:55 · 137 阅读 · 0 评论 -
好程序员大数据学习路线分享Scala系列之抽象类
好程序员大数据学习路线分享Scala系列之抽象类1抽象类的定义定义一个抽象类:如果某个类至少存在一个抽象方法或一个抽象字段,则该类必须声明为abstract。abstractclassPerson{//没有初始值,抽象字段varname:String//没有方法体,是抽象方法defid: Int}classEmploy extendsPerson{varname:St...原创 2019-09-24 17:06:51 · 106 阅读 · 0 评论 -
好程序员大数据学习路线分享Scala系列之泛型
好程序员大数据学习路线分享Scala系列之泛型,带有一个或多个类型参数的类是泛型的。泛型类的定义://带有类型参数A的类定义classStack[A] {privatevarelements: List[A] = Nil//泛型方法defpush(x: A) { elements = x :: elements }defpeek: A = ...原创 2019-10-10 15:52:33 · 138 阅读 · 0 评论 -
好程序员大数据学习路线分享Scala系列之对象
好程序员大数据学习路线为大家分享Scala系列之对象1.单例对象在Scala中没有静态方法和静态字段,但是可以使用object这个语法结构来达到同样的目的1.scala类似于Java中的工具类,可以用来存放工具函数和常量2.高效共享单个不可变的实例3.单例模式单例对象虽然类似于Java中的工具类,但它不是,还是一个对象,可以把单例对象名看做一个贴在对象上的标签。pac...原创 2019-10-09 15:19:05 · 92 阅读 · 0 评论 -
好程序员大数据学习路线分享Scala系列之对象
好程序员大数据学习路线分享Scala系列之对象1. 单例对象在Scala中没有静态方法和静态字段,但是可以使用object这个语法结构来达到同样的目的1.scala类似于Java中的工具类,可以用来存放工具函数和常量2.高效共享单个不可变的实例3.单例模式单例对象虽然类似于Java中的工具类,但它不是,还是一个对象,可以把单例对象名看做一个贴在对象上的标签。packag...原创 2019-09-29 15:22:04 · 126 阅读 · 0 评论 -
好程序员大数据学习路线分享什么是Hash表
好程序员大数据学习路线分享什么是Hash表,Hash,一般翻译做“散列”,也有直接音译为“哈希”的,它是基于快速存取的角度设计的,也是一种典型的“空间换时间”的做法。顾名思义,该数据结构可以理解为一个线性表,但是其中的元素不是紧密排列的,而是可能存在空隙。 散列表(Hash table,也叫哈希表),是根据关键码值(Key value)而直接进行访问的数据结构。也就是说,它通过把...原创 2019-09-27 17:26:20 · 127 阅读 · 0 评论 -
好程序员大数据学习路线分享多线程学习笔记
好程序员大数据学习路线分享多线程学习笔记,默认情况下,主线程和垃圾回收线程都是由系统创建的,但是我们需要完成自己的功能----创建自己的线程对象。* java将线程面向对象了,形成的类就是Thread,在Thread类内部执行任务的方法叫run()** 注意:如果想让run作为任务区,必须让他去被自动调用.我们通过执行start()方法,来开启线程,继而实现run方法的...原创 2019-09-27 16:48:50 · 156 阅读 · 0 评论 -
大数据学习路线分享IO流学习笔记
大数据学习路线分享IO流学习笔记-IO流(input/output):作用:实现两个设备之间数据的传递设备:磁盘(硬盘),内存,键盘,文件,网络,控制台网络:当前主机之外的网上资源分类:根据操作的方式:输入流和输出流 ---因**内存**为参考根据数据的类型:字节流和字符流字节流:字节输入流:InputStream字节输出流:OutputS...原创 2019-09-25 16:33:02 · 143 阅读 · 0 评论 -
好程序员大数据学习路线分享大数据之线程
好程序员大数据学习路线分享大数据之线程,默认情况下,主线程和垃圾回收线程都是由系统创建的,但是我们需要完成自己的功能----创建自己的线程对象java将线程面向对象了,形成的类就是Thread,在Thread类内部执行任务的方法叫run()注意:如果想让run作为任务区,必须让他去被自动调用.我们通过执行start()方法,来开启线程,继而实现run方法的自动调用.主线程的名字...原创 2019-09-25 16:26:33 · 121 阅读 · 0 评论 -
大数据学习路线分享大数据之Map接口
好程序员大数据学习路线分享大数据之Map接口,Collection:直接存储的是值.Map:本身是接口,存储的是键值对,一个元素就是一个键(key)值(value)对,key必须是唯一的,值随意,即可以重复。Map:接口HashMap:底层是哈希表,线程不安全的TreeMap:底层是二叉树,线程不安全的介绍Map接口的方法Map<String, Strin...原创 2019-09-25 16:14:56 · 178 阅读 · 0 评论