自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

谦卑t

十年生死两茫茫,写程序,到天亮

  • 博客(86)
  • 收藏
  • 关注

原创 【图文详细 】Scala编程语言——什么是Scala

总结:我对自己的要求是终身学习和每天保持迅速的进步,小老弟如果觉得看着还可以,我也不要你的赞和双击666,欢迎来看我定时更新的博客Scala汇总,并定时向您汇报最新的Scala内容:https://blog.csdn.net/qq_42246689/article/details/850733801、Scala 概述 1.1、什么是 Scala Scala 官网:https://ww...

2018-12-18 08:59:45 9495 4

原创 【图文详细 】Flume数据采集组件(5篇精彩博文供大神查阅)

1、Flume的产生背景2、Flume的收集工具3、Flume的概述4、Flume的体系架构及核心组件5、Flume的实战案例转发标明出处:https://blog.csdn.net/qq_42246689   下面给出流程图,供各位大神查阅:   转发标明出处:https://blog.csdn.net/qq_42246689 ...

2018-12-10 18:47:59 328

原创 Spark 的产生背景

1、Spark 的产生背景  1.1、MapReduce 的发展 1.1.1、MRv1 的缺陷 早在 Hadoop1.x 版本,当时采用的是 MRv1 版本的 MapReduce 编程模型。MRv1 版本的实现 都封装在 org.apache.hadoop.mapred 包中,MRv1 的 Map 和 Reduce 是通过接口实现的。MRv1 包括三个部分:运行时环境(JobT...

2018-12-29 23:43:19 2141

原创 【图文详细 】Scala——Akka Actor

4、Akka Actor  4.1、Akka 概述 Akka 基于 Actor 模型,提供了一个用于构建可扩展的(Scalable)、弹性的(Resilient)、快 速响应的(Responsive)应用程序的平台。  Actor 模型:在计算机科学领域,Actor 模型是一个并行计算(Concurrent Computation)模型, 它把 actor 作为并行计算的基本元素来...

2018-12-28 19:36:52 971

原创 【图文详细 】Scala——Actor

3、Scala Actor  3.1、概念 Scala 中的 Actor 能够实现并行编程的强大功能,它是基于事件模型的并发机制,Scala 是运 用消息(message)的发送、接收来实现多线程的。使用 Scala 能够更容易地实现多线程应 用的开发。  一个 Actor 是一个容器,它包含状态,行为,信箱,子 Actor 和监管策略,所有这些包含在 一个 ActorReferenc...

2018-12-28 19:30:35 1032 1

原创 【图文详细 】Scala——Hadoop RPC

2、Hadoop RPC  2.1、Hadoop RPC 概述 同其他 RPC 框架一样,Hadoop RPC 分为四个部分:  1、序列化层:Client 与 Server 端通信传递的信息采用了 Hadoop 里提供的序列化类或自定义 的 Writable 类型; 2、函数调用层:Hadoop RPC 通过动态代理以及 Java 反射实现函数调用; 3、网络传输层:Hadoop ...

2018-12-28 17:58:52 234

原创 【图文详细 】Scala——RPC 远程过程调用

1、RPC 远程过程调用  1.1、RPC 概念 RPC(Remote Procedure Call)—远程过程调用,它是一种通过网络从远程计算机程序上请 求服务,而不需要了解底层网络技术的协议。RPC 协议假定某些传输协议的存在,如 TCP 或 UDP,为通信程序之间携带信息数据。在 OSI 网络通信模型中,RPC 跨越了传输层和应用层。 RPC 使得开发包括网络分布式多程序在内的应...

2018-12-28 17:46:30 970

原创 【图文详细 】Scala——泛型

3、Scala 泛型  3.1、Scala 泛型基础 泛型用于指定方法或类可以接受任意类型参数,参数在实际使用时才被确定,泛型可以有效 地增强程序的适用性,使用泛型可以使得类或方法具有更强的通用性。泛型的典型应用场景 是集合及集合中的方法参数,可以说同 Java 一样,Scala 中泛型无处不在,具体可查看 Scala 的 API  泛型类:指定类可以接受任意类型参数。泛型方法:...

2018-12-24 13:12:19 4969 1

原创 【图文详细 】Scala——隐式转换和隐式参数

2、Scala 隐式转换和隐式参数 隐式转换和隐式参数是 Scala 中两个非常强大的功能,利用隐式转换和隐式参数,你可以提 供优雅的类库,对类库的使用者隐匿掉那些枯燥乏味的细节。  隐式的对类的方法进行增强,丰富现有类库的功能  是指那种以 implicit 关键字声明的带有单个参数的函数。可以通过::implicit -v 这个命令显示所有做隐式转换的类。  2.1...

2018-12-24 12:58:37 1110

转载 最近做大数据面试官的感想

时间是不可逆的,我们不可能经历之后,然后再返回来修正自己过去的行为,但是我们可以通过观察不同时间段的相同职业人的现状来修正自己。最近一段时间,浪尖忙于招人面试,在面试别人的过程中收获了很多,我相信被我面试的人也会收获很多。面试者的工作经验有十年以上的,有五六年,还有两三年的,每个年龄段都有自己的优点和缺点(这是句废话,每个人都是优缺点参半,实际上强调的是技术实力的优缺点),在这里,其实我想...

2018-12-23 10:42:04 619

原创 【图文详细 】Scala——高阶函数和闭包

1、高阶函数和闭包  1.1、定义函数 1.1.1、匿名函数1.1.2、函数的各种写法  1.2、高阶函数 高阶函数主要有两种: 1、一种是将一个函数当做另外一个函数的参数(即函数的参数是函数) 2、另外一种是返回值是函数的函数(即函数的返回值是函数) 1.2.1、函数返回值为函数 作为返回值:一个方法的返回结果值是一个函数  1....

2018-12-20 23:28:06 457

原创 【图文详细 】Scala——模式匹配

5、Scala 的模式匹配 Scala 有一个十分强大的模式匹配机制,可以应用到很多场合:如 switch 语句、类型检查等。并且 Scala 还提供了样例类,对模式匹配进行了优化,可以快速进行匹配  5.1、匹配字符串object CaseDemo01 extends App{ val arr = Array("huangbo", "xuzheng", "wangbao...

2018-12-20 23:15:29 228

原创 【图文详细 】Scala——特质 Trait

4、特质 Trait  4.1、特质的定义 Scala 和 Java 语言一样,采用了很强的限制策略,避免了多继承的问题。在 Java 语言中,只 允许继承一个超类,该类可以实现多个接口,但 Java 接口有其自身的局限性:接口中只能包括抽象方法,不能包含字段、具体方法。Scala 语言利用 trait 解决了该问题,在 Scala 的 trait 中,它不但可以包括抽象方法还可以包含...

2018-12-20 23:08:52 295

原创 【图文详细 】Scala——继承

3、Scala 继承  3.1、扩展类 在 Scala 中扩展类的方式和 Java 一样都是使用 extends 关键字1、Scala 中,让子类继承父类,与 Java 一样,也是使用 extends 关键字2、继承就代表,子类可以从父类继承父类的 field 和 method;然后子类可以在自己内部放 入父类所没有,子类特有的 field 和 method;使用继承可以有效复...

2018-12-20 18:35:34 403

原创 【图文详细 】Scala——对象

2、Scala 对象  2.1、单例对象 在某些应用场景下,我们可能不需要创建对象,而是想直接调用方法,但是 Scala 语言并不 支持静态成员,没有静态方法和静态字段,Scala 通过单例对象 object 来解决该问题1、存放工具方法和常量2、高效共享单个不可变的实例3、单例模式package com.mazh.scala.day2.oop import sc...

2018-12-20 18:30:01 202

原创 【图文详细 】Scala——类

1、Scala 类 Scala 的类与 Java、C++的类比起来更简洁,学完之后你会更爱 Scala!!!  1.1、定义类 定义一个 Student 类: package com.mazh.scala.day2.oop // 在 Scala中,类并不用声明为 public 。 // 在 Scala文件中,文件名可以不用和类名一致 //Scala源文件中可以...

2018-12-20 18:19:44 345

原创 【图文详细 】Scala——编程练习

6、Scala 编程练习 6.1、99 乘法表 package com.mazh.scala.funny object Table99 { def main(args: Array[String]): Unit = { for (i <- 1 to 9){ for (j <- 1 to i){ printf("%d*%...

2018-12-19 21:58:53 3647

原创 【图文详细 】Scala——集合相关

5、Scala 集合相关 5.1、Scala 集合 Scala 的集合有三大类:序列 Seq、集合 Set、映射 Map,所有的集合都扩展自 Iterable 特质 在 Scala 中集合有可变(mutable)和不可变(immutable)两种类型,immutable 类型的集合初始化后就不能改变了(注意与 val 修饰的变量进行区别)  官网解释: Scala collectio...

2018-12-19 21:54:22 384

原创 【图文详细 】Scala——Scala 数组 Array

4、Scala 数组 Array 4.1、定长数组和变长数组 1、由于 Array 是不可变(长度不可变)的,初始化之初就有了固定的长度,所以不能直接 地对其元素进行删除操作,也不能多增加元素,只能修改某个位置的元素的值,要实现删除 可以通过过滤生成新的 Array 的方式来删除不要的元素。所以也就没有 add,insert,remove 等 操作。  2、而 ArrayBuffer ...

2018-12-19 18:45:11 4826 1

原创 【图文详细 】Scala——入门到实战一体,看完都能找工作啦,持续更新,喜欢关注博主

第一部分:Scala——基础语法1、Scala_是什么2、Scala_编译器安装3、Scala_基础语法4、Scala_数组Array5、Scala_集合相关6、Scala_编程练习 第二部分:Scala——面向对象1、Scala_类2、Scala_对象3、Scala_继承4、Scala_特质Trait5、Scala_模式匹配https://...

2018-12-18 18:38:49 654

原创 【图文详细 】Scala——基本语法

3、Scala 基础语法 3.1、Hello Scala package com.mazh.scala.helloworld /** * 作者: 李涛: https://blog.csdn.net/qq_42246689 */ object HelloWorld { // 作用类似于 J ava 的 main 方法 def main(args: Array[St...

2018-12-18 18:35:10 419

原创 【图文详细 】Scala——编译器安装

2、Scala编译器安装2.1、安装JDK因为 Scala 是运行在 JVM 平台上的,所以安装 Scala 之前要安装 JDK  2.2、Windows 平台安装 Scala 访问 Scala 官网 http://www.scala-lang.org/下载 Scala 编译器安装包,目前最新版本是 2.12.x, 但是目前大多数的框架都是用 2.10.x 或者 2.11.x ...

2018-12-18 10:57:23 341

原创 【图文详细 】Kafka消息队列——Kafka 的各种 Shell 操作

1、启动集群每个节点的进程: 2、创建 topic 3、查看已经创建的所有 kafka topic 4、查看某个指定的 kafka topic 的详细信息: 4、开启生产者模拟生成数据: 5、开启消费者模拟消费数据: 6、查看某 topic 某个分区的偏移量最大值和最小值 7、增加 topic 分区数 8、删除 Topic ...

2018-12-13 15:53:48 496 1

原创 【图文详细 】Kafka消息队列——Kafka 的各种 API 操作

7.1、Kafka 的 API 分类 1、The Producer API  允许一个应用程序发布一串流式的数据到一个或者多个 Kafka Topic。  2、The Consumer API  允许一个应用程序订阅一个或多个 Topic ,并且对发布给他们的流式数据进行处理。  3、The Streams API  允许一个应用程序作为一个流处理器,消费一个或者多个 Topic 产生...

2018-12-13 14:20:51 1728

转载 如果有一天程序员再也不忙了

前言 程序员是世界上最可爱的人! 正文 (一):程序员是什么(二):程序员写的代码有什么用(三):程序员最本质的不同是什么(四):程序员为什么找不到妹子(五):程序员的工作究竟有多忙(六):有一天程序员不忙了会怎样(七):找不到妹子真的是因为工作忙吗(八):你自己看吧。。。所以我说的对吗?推荐阅读:技术:程序员该考虑什么时候辞职...

2018-12-12 15:31:04 172

原创 【图文详细 】Kafka消息队列——kafka 集群部署

5.1、Kafka 初体验 单机 Kafka 试玩 官网网址:http://kafka.apache.org/quickstart中文官网:http://kafka.apachecn.org/quickstart.html 5.2、集群部署的基本流程总结 1、下载安装包2、解压安装包到对应的目录3、修改配置文件4、分发安装包5、启动集群,进行验证 5.3、集群部...

2018-12-12 13:58:25 460

原创 【图文详细 】Kafka消息队列——Kafka的核心组件

4.1、kafka的核心组件概述 Kafka 是 LinkedIn 用于日志处理的分布式消息队列,同时支持离线和在线日志处理。 Kafka 对消息保存时根据 Topic 进行归类:发送消息者就是 Producer,消息的发布描述为 Producer 消息接受者就是 Consumer,消息的订阅描述为 Consumer 每个 Kafka 实例称为 Broker,将中间的存储阵...

2018-12-10 23:49:16 608

原创 【图文详细 】Kafka从入门到实战(自学者7篇足以)

1、Kafka是什么2、Kafka优点3、Kafka应用场景4、Kafka的核心组件5、kafka 集群部署6、Kafka 的各种 Shell 操作7、Kafka 的各种 API 操作转载请标明出处:https://blog.csdn.net/qq_42246689来几副图瞅一瞅:

2018-12-10 19:44:26 1056

原创 【图文详细 】Kafka消息队列——Kafka的应用场景

3.1、消息系统Kafka 很好地替代了传统的 message broker(消息代理)。Message Brokers 可用于各种场合(如 将数据生成器与数据处理解耦,缓冲未处理的消息等)。与大多数消息系统相比,Kafka 拥有 更好的吞吐量、内置分区、具有复制和容错的功能,这使它成为一个非常理想的大型消息处 理应用。根据我们的经验,通常消息传递使用较低的吞吐量,但可能要求较低的端到端延迟,...

2018-12-10 19:29:01 742 1

原创 【图文详细 】Kafka消息队列——Kafka的优点

2、Kafka的优点1、解耦:在项目启动之初来预测将来项目会碰到什么需求,是极其困难的。消息系统在处理过程中间 插入了一个隐含的、基于数据的接口层,两边的处理过程都要实现这一接口。这允许你独立 的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2、冗余:有些情况下,处理数据的过程会失败。除非数据被持久化,否则将造成丢失。消息队列把数 据进行持久化直到它们已经被完全处理,通过这一...

2018-12-10 19:20:17 669

原创 【图文详细 】Kafka消息队列——Kafka是什么

1.1、Kafka的概述在流式计算中,Kafka一般用于数据的缓存,Storm通过消费Kafka的数据进行计算。经典架构:Flume + Kafka + Storm/SparkStreaming + Redis Apache Kafka最初由LinkedIn开发的基于发布订阅的分布式的消息系统,由Scala/Java编写,并于 2011 年初开源。2012 年 10 月从 Apache...

2018-12-10 19:06:07 781

原创 【图文详细 】Flume 数据采集组件——实战案例

5、Flume 实战案例  5.1、安装部署 Flume 1、Flume 的安装非常简单,只需要解压即可,当然,前提是已有 Hadoop 环境上传安装包到 数据源所在节点上 然后解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz 然后进入 flume 的目录,修改 conf 下的 flume-env.sh,在里面配置 JAVA_HOME  2、根据数...

2018-12-08 20:24:50 1309 1

原创 【图文详细 】Flume 数据采集组件—— 体系结构/核心组件

4、Flume 体系结构/核心组件  4.1、概述 Flume 的数据流由事件(Event)贯穿始终。事件是 Flume 的基本数据单位,它携带日志数据(字 节数组形式)并且携带有头信息,这些 Event 由 Agent 外部的 Source 生成,当 Source 捕获事 件后会进行特定的格式化,然后 Source 会把事件推入(单个或多个)Channel 中。你可以把 Channel...

2018-12-08 20:17:02 662

原创 【图文详细 】Flume 数据采集组件——概述

3、Flume 概述3.1、Flume 概念 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architectu...

2018-12-08 20:08:03 913

原创 【图文详细 】Flume 数据采集组件——收集工具

2、专业的数据收集工具 2.1、Chukwa Apache Chukwa 是 Apache 旗下另一个开源的数据收集平台,它远没有其他几个有名。Chukwa 基于 Hadoop 的 HDFS 和 MapReduce 来构建(显而易见,它用 Java 来实现),提供扩展性和 可靠性。Chukwa 同时提供对数据的展示,分析和监视。很奇怪的是它的上一次 Github 的更 新事 7 年前。可见该...

2018-12-08 20:05:13 707

原创 【图文详细 】Flume 数据采集组件——产生背景

1、数据收集工具/系统产生背景 Hadoop 业务的整体开发流程: 任何完整的大数据平台,一般都会包括以下的基本处理过程: 数据采集  数据 ETL  数据存储  数据计算/分析  数据展现 其中,数据采集是所有数据系统必不可少的,随着大数据越来越被重视,数据采集的挑战也 变的尤为突出。这其中包括:数据源多种多样 数据量大,变化快 如何保证数据采集的...

2018-12-08 20:03:06 390

原创 设计模式之六大原则(转载)

2018-12-07 22:54:22 146

原创 【图文详细 】HBase——过滤器查询

1、比较过滤器2、专用过滤器 

2018-12-07 22:49:08 243

原创 【图文详细 】HBase Java API 代码开发

几个主要 Hbase API 类和数据模型之间的对应关系:  

2018-12-07 22:46:39 281

原创 【图文详细 】HBase——命令行演示

1、HBase 命令使用初准备 概述:大数据生态里的各种软件,基本都会给出 shell 命令行操作。所以在拿到新上手的软 件的时候先找到怎么进入命令行,然后相应要想到 help 命令,查看命令帮助。别着急一股 脑儿扎进去敲各种命令,这就是思路,思路很重要。 1.1、先进入hbase shell命令行在你安装的随意台服务器节点上,执行命令:hbase shell,会进入到你的 hba...

2018-12-07 22:44:43 357

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除