谦卑t

原创 【图文详细 】Scala编程语言——什么是Scala

总结：我对自己的要求是终身学习和每天保持迅速的进步，小老弟如果觉得看着还可以，我也不要你的赞和双击666，欢迎来看我定时更新的博客Scala汇总，并定时向您汇报最新的Scala内容：https://blog.csdn.net/qq_42246689/article/details/850733801、Scala 概述 1.1、什么是 Scala Scala 官网：https://ww...

原创 【图文详细 】Flume数据采集组件（5篇精彩博文供大神查阅）

1、Flume的产生背景2、Flume的收集工具3、Flume的概述4、Flume的体系架构及核心组件5、Flume的实战案例转发标明出处：https://blog.csdn.net/qq_42246689   下面给出流程图，供各位大神查阅：   转发标明出处：https://blog.csdn.net/qq_42246689 ...

原创 Spark 的产生背景

1、Spark 的产生背景  1.1、MapReduce 的发展 1.1.1、MRv1 的缺陷 早在 Hadoop1.x 版本，当时采用的是 MRv1 版本的 MapReduce 编程模型。MRv1 版本的实现 都封装在 org.apache.hadoop.mapred 包中，MRv1 的 Map 和 Reduce 是通过接口实现的。MRv1 包括三个部分：运行时环境（JobT...

原创 【图文详细 】Scala——Akka Actor

4、Akka Actor  4.1、Akka 概述 Akka 基于 Actor 模型，提供了一个用于构建可扩展的（Scalable）、弹性的（Resilient）、快 速响应的（Responsive）应用程序的平台。  Actor 模型：在计算机科学领域，Actor 模型是一个并行计算（Concurrent Computation）模型， 它把 actor 作为并行计算的基本元素来...

原创 【图文详细 】Scala——Actor

3、Scala Actor  3.1、概念 Scala 中的 Actor 能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala 是运 用消息（message）的发送、接收来实现多线程的。使用 Scala 能够更容易地实现多线程应 用的开发。  一个 Actor 是一个容器，它包含状态，行为，信箱，子 Actor 和监管策略，所有这些包含在 一个 ActorReferenc...

原创 【图文详细 】Scala——Hadoop RPC

2、Hadoop RPC  2.1、Hadoop RPC 概述 同其他 RPC 框架一样，Hadoop RPC 分为四个部分：  1、序列化层：Client 与 Server 端通信传递的信息采用了 Hadoop 里提供的序列化类或自定义 的 Writable 类型； 2、函数调用层：Hadoop RPC 通过动态代理以及 Java 反射实现函数调用； 3、网络传输层：Hadoop ...

原创 【图文详细 】Scala——RPC 远程过程调用

1、RPC 远程过程调用  1.1、RPC 概念 RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请 求服务，而不需要了解底层网络技术的协议。RPC 协议假定某些传输协议的存在，如 TCP 或 UDP，为通信程序之间携带信息数据。在 OSI 网络通信模型中，RPC 跨越了传输层和应用层。 RPC 使得开发包括网络分布式多程序在内的应...

原创 【图文详细 】Scala——泛型

3、Scala 泛型  3.1、Scala 泛型基础 泛型用于指定方法或类可以接受任意类型参数，参数在实际使用时才被确定，泛型可以有效 地增强程序的适用性，使用泛型可以使得类或方法具有更强的通用性。泛型的典型应用场景 是集合及集合中的方法参数，可以说同 Java 一样，Scala 中泛型无处不在，具体可查看 Scala 的 API  泛型类：指定类可以接受任意类型参数。泛型方法：...

原创 【图文详细 】Scala——隐式转换和隐式参数

2、Scala 隐式转换和隐式参数 隐式转换和隐式参数是 Scala 中两个非常强大的功能，利用隐式转换和隐式参数，你可以提 供优雅的类库，对类库的使用者隐匿掉那些枯燥乏味的细节。  隐式的对类的方法进行增强，丰富现有类库的功能  是指那种以 implicit 关键字声明的带有单个参数的函数。可以通过：:implicit -v 这个命令显示所有做隐式转换的类。  2.1...

转载 最近做大数据面试官的感想

时间是不可逆的，我们不可能经历之后，然后再返回来修正自己过去的行为，但是我们可以通过观察不同时间段的相同职业人的现状来修正自己。最近一段时间，浪尖忙于招人面试，在面试别人的过程中收获了很多，我相信被我面试的人也会收获很多。面试者的工作经验有十年以上的，有五六年，还有两三年的，每个年龄段都有自己的优点和缺点（这是句废话，每个人都是优缺点参半，实际上强调的是技术实力的优缺点），在这里，其实我想...

原创 【图文详细 】Scala——高阶函数和闭包

1、高阶函数和闭包  1.1、定义函数 1.1.1、匿名函数1.1.2、函数的各种写法  1.2、高阶函数 高阶函数主要有两种： 1、一种是将一个函数当做另外一个函数的参数（即函数的参数是函数） 2、另外一种是返回值是函数的函数（即函数的返回值是函数） 1.2.1、函数返回值为函数 作为返回值：一个方法的返回结果值是一个函数  1....

原创 【图文详细 】Scala——模式匹配

5、Scala 的模式匹配 Scala 有一个十分强大的模式匹配机制，可以应用到很多场合：如 switch 语句、类型检查等。并且 Scala 还提供了样例类，对模式匹配进行了优化，可以快速进行匹配  5.1、匹配字符串object CaseDemo01 extends App{ val arr = Array("huangbo", "xuzheng", "wangbao...

原创 【图文详细 】Scala——特质 Trait

4、特质 Trait  4.1、特质的定义 Scala 和 Java 语言一样，采用了很强的限制策略，避免了多继承的问题。在 Java 语言中，只 允许继承一个超类，该类可以实现多个接口，但 Java 接口有其自身的局限性：接口中只能包括抽象方法，不能包含字段、具体方法。Scala 语言利用 trait 解决了该问题，在 Scala 的 trait 中，它不但可以包括抽象方法还可以包含...

原创 【图文详细 】Scala——继承

3、Scala 继承  3.1、扩展类 在 Scala 中扩展类的方式和 Java 一样都是使用 extends 关键字1、Scala 中，让子类继承父类，与 Java 一样，也是使用 extends 关键字2、继承就代表，子类可以从父类继承父类的 field 和 method；然后子类可以在自己内部放 入父类所没有，子类特有的 field 和 method；使用继承可以有效复...

原创 【图文详细 】Scala——对象

2、Scala 对象  2.1、单例对象 在某些应用场景下，我们可能不需要创建对象，而是想直接调用方法，但是 Scala 语言并不 支持静态成员，没有静态方法和静态字段，Scala 通过单例对象 object 来解决该问题1、存放工具方法和常量2、高效共享单个不可变的实例3、单例模式package com.mazh.scala.day2.oop import sc...

原创 【图文详细 】Scala——类

1、Scala 类 Scala 的类与 Java、C++的类比起来更简洁，学完之后你会更爱 Scala！！！  1.1、定义类 定义一个 Student 类： package com.mazh.scala.day2.oop // 在 Scala中，类并不用声明为 public 。 // 在 Scala文件中，文件名可以不用和类名一致 //Scala源文件中可以...

原创 【图文详细 】Scala——编程练习

6、Scala 编程练习 6.1、99 乘法表 package com.mazh.scala.funny object Table99 { def main(args: Array[String]): Unit = { for (i <- 1 to 9){ for (j <- 1 to i){ printf("%d*%...

原创 【图文详细 】Scala——集合相关

5、Scala 集合相关 5.1、Scala 集合 Scala 的集合有三大类：序列 Seq、集合 Set、映射 Map，所有的集合都扩展自 Iterable 特质 在 Scala 中集合有可变（mutable）和不可变（immutable）两种类型，immutable 类型的集合初始化后就不能改变了（注意与 val 修饰的变量进行区别）  官网解释： Scala collectio...

原创 【图文详细 】Scala——Scala 数组 Array

4、Scala 数组 Array 4.1、定长数组和变长数组 1、由于 Array 是不可变（长度不可变）的，初始化之初就有了固定的长度，所以不能直接 地对其元素进行删除操作，也不能多增加元素，只能修改某个位置的元素的值，要实现删除 可以通过过滤生成新的 Array 的方式来删除不要的元素。所以也就没有 add,insert,remove 等 操作。  2、而 ArrayBuffer ...

原创 【图文详细 】Scala——入门到实战一体，看完都能找工作啦，持续更新，喜欢关注博主

第一部分：Scala——基础语法1、Scala_是什么2、Scala_编译器安装3、Scala_基础语法4、Scala_数组Array5、Scala_集合相关6、Scala_编程练习 第二部分：Scala——面向对象1、Scala_类2、Scala_对象3、Scala_继承4、Scala_特质Trait5、Scala_模式匹配https://...

原创 【图文详细 】Scala——基本语法

3、Scala 基础语法 3.1、Hello Scala package com.mazh.scala.helloworld /** * 作者： 李涛： https://blog.csdn.net/qq_42246689 */ object HelloWorld { // 作用类似于 J ava 的 main 方法 def main(args: Array[St...

原创 【图文详细 】Scala——编译器安装

2、Scala编译器安装2.1、安装JDK因为 Scala 是运行在 JVM 平台上的，所以安装 Scala 之前要安装 JDK  2.2、Windows 平台安装 Scala 访问 Scala 官网 http://www.scala-lang.org/下载 Scala 编译器安装包，目前最新版本是 2.12.x， 但是目前大多数的框架都是用 2.10.x 或者 2.11.x ...

原创 【图文详细 】Kafka消息队列——Kafka 的各种 Shell 操作

1、启动集群每个节点的进程： 2、创建 topic 3、查看已经创建的所有 kafka topic 4、查看某个指定的 kafka topic 的详细信息： 4、开启生产者模拟生成数据： 5、开启消费者模拟消费数据： 6、查看某 topic 某个分区的偏移量最大值和最小值 7、增加 topic 分区数 8、删除 Topic ...

原创 【图文详细 】Kafka消息队列——Kafka 的各种 API 操作

7.1、Kafka 的 API 分类 1、The Producer API  允许一个应用程序发布一串流式的数据到一个或者多个 Kafka Topic。  2、The Consumer API  允许一个应用程序订阅一个或多个 Topic ，并且对发布给他们的流式数据进行处理。  3、The Streams API  允许一个应用程序作为一个流处理器，消费一个或者多个 Topic 产生...

转载 如果有一天程序员再也不忙了

前言 程序员是世界上最可爱的人！ 正文 （一）：程序员是什么（二）：程序员写的代码有什么用（三）：程序员最本质的不同是什么（四）：程序员为什么找不到妹子（五）：程序员的工作究竟有多忙（六）：有一天程序员不忙了会怎样（七）：找不到妹子真的是因为工作忙吗（八）：你自己看吧。。。所以我说的对吗？推荐阅读：技术：程序员该考虑什么时候辞职...

原创 【图文详细 】Kafka消息队列——kafka 集群部署

5.1、Kafka 初体验 单机 Kafka 试玩 官网网址：http://kafka.apache.org/quickstart中文官网：http://kafka.apachecn.org/quickstart.html 5.2、集群部署的基本流程总结 1、下载安装包2、解压安装包到对应的目录3、修改配置文件4、分发安装包5、启动集群，进行验证 5.3、集群部...

原创 【图文详细 】Kafka消息队列——Kafka的核心组件

4.1、kafka的核心组件概述 Kafka 是 LinkedIn 用于日志处理的分布式消息队列，同时支持离线和在线日志处理。 Kafka 对消息保存时根据 Topic 进行归类：发送消息者就是 Producer，消息的发布描述为 Producer 消息接受者就是 Consumer，消息的订阅描述为 Consumer 每个 Kafka 实例称为 Broker，将中间的存储阵...

原创 【图文详细 】Kafka从入门到实战（自学者7篇足以）

1、Kafka是什么2、Kafka优点3、Kafka应用场景4、Kafka的核心组件5、kafka 集群部署6、Kafka 的各种 Shell 操作7、Kafka 的各种 API 操作转载请标明出处：https：//blog.csdn.net/qq_42246689来几副图瞅一瞅：

原创 【图文详细 】Kafka消息队列——Kafka的应用场景

3.1、消息系统Kafka 很好地替代了传统的 message broker（消息代理）。Message Brokers 可用于各种场合（如 将数据生成器与数据处理解耦，缓冲未处理的消息等）。与大多数消息系统相比，Kafka 拥有 更好的吞吐量、内置分区、具有复制和容错的功能，这使它成为一个非常理想的大型消息处 理应用。根据我们的经验，通常消息传递使用较低的吞吐量，但可能要求较低的端到端延迟，...

原创 【图文详细 】Kafka消息队列——Kafka的优点

2、Kafka的优点1、解耦：在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息系统在处理过程中间 插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立 的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2、冗余：有些情况下，处理数据的过程会失败。除非数据被持久化，否则将造成丢失。消息队列把数 据进行持久化直到它们已经被完全处理，通过这一...

原创 【图文详细 】Kafka消息队列——Kafka是什么

1.1、Kafka的概述在流式计算中，Kafka一般用于数据的缓存，Storm通过消费Kafka的数据进行计算。经典架构：Flume + Kafka + Storm/SparkStreaming + Redis Apache Kafka最初由LinkedIn开发的基于发布订阅的分布式的消息系统，由Scala/Java编写，并于 2011 年初开源。2012 年 10 月从 Apache...

原创 【图文详细 】Flume 数据采集组件——实战案例

5、Flume 实战案例  5.1、安装部署 Flume 1、Flume 的安装非常简单，只需要解压即可，当然，前提是已有 Hadoop 环境上传安装包到 数据源所在节点上 然后解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz 然后进入 flume 的目录，修改 conf 下的 flume-env.sh，在里面配置 JAVA_HOME  2、根据数...

原创 【图文详细 】Flume 数据采集组件—— 体系结构/核心组件

4、Flume 体系结构/核心组件  4.1、概述 Flume 的数据流由事件(Event)贯穿始终。事件是 Flume 的基本数据单位，它携带日志数据(字 节数组形式)并且携带有头信息，这些 Event 由 Agent 外部的 Source 生成，当 Source 捕获事 件后会进行特定的格式化，然后 Source 会把事件推入(单个或多个)Channel 中。你可以把 Channel...

原创 【图文详细 】Flume 数据采集组件——概述

3、Flume 概述3.1、Flume 概念 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architectu...

原创 【图文详细 】Flume 数据采集组件——收集工具

2、专业的数据收集工具 2.1、Chukwa Apache Chukwa 是 Apache 旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa 基于 Hadoop 的 HDFS 和 MapReduce 来构建（显而易见，它用 Java 来实现），提供扩展性和 可靠性。Chukwa 同时提供对数据的展示，分析和监视。很奇怪的是它的上一次 Github 的更 新事 7 年前。可见该...

原创 【图文详细 】Flume 数据采集组件——产生背景

1、数据收集工具/系统产生背景 Hadoop 业务的整体开发流程： 任何完整的大数据平台，一般都会包括以下的基本处理过程： 数据采集  数据 ETL  数据存储  数据计算/分析  数据展现 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也 变的尤为突出。这其中包括：数据源多种多样 数据量大，变化快 如何保证数据采集的...

原创 设计模式之六大原则（转载）

原创 【图文详细 】HBase——过滤器查询

1、比较过滤器2、专用过滤器 

原创 【图文详细 】HBase Java API 代码开发

几个主要 Hbase API 类和数据模型之间的对应关系：  

原创 【图文详细 】HBase——命令行演示

1、HBase 命令使用初准备 概述：大数据生态里的各种软件，基本都会给出 shell 命令行操作。所以在拿到新上手的软 件的时候先找到怎么进入命令行，然后相应要想到 help 命令，查看命令帮助。别着急一股 脑儿扎进去敲各种命令，这就是思路，思路很重要。 1.1、先进入hbase shell命令行在你安装的随意台服务器节点上，执行命令：hbase shell，会进入到你的 hba...