谦卑t

转载 最近做大数据面试官的感想

时间是不可逆的，我们不可能经历之后，然后再返回来修正自己过去的行为，但是我们可以通过观察不同时间段的相同职业人的现状来修正自己。最近一段时间，浪尖忙于招人面试，在面试别人的过程中收获了很多，我相信被我面试的人也会收获很多。面试者的工作经验有十年以上的，有五六年，还有两三年的，每个年龄段都有自己的优点和缺点（这是句废话，每个人都是优缺点参半，实际上强调的是技术实力的优缺点），在这里，其实我想...

原创 【图文详细 】Scala——高阶函数和闭包

1、高阶函数和闭包  1.1、定义函数 1.1.1、匿名函数1.1.2、函数的各种写法  1.2、高阶函数 高阶函数主要有两种： 1、一种是将一个函数当做另外一个函数的参数（即函数的参数是函数） 2、另外一种是返回值是函数的函数（即函数的返回值是函数） 1.2.1、函数返回值为函数 作为返回值：一个方法的返回结果值是一个函数  1....

原创 【图文详细 】Scala——模式匹配

5、Scala 的模式匹配 Scala 有一个十分强大的模式匹配机制，可以应用到很多场合：如 switch 语句、类型检查等。并且 Scala 还提供了样例类，对模式匹配进行了优化，可以快速进行匹配  5.1、匹配字符串object CaseDemo01 extends App{ val arr = Array("huangbo", "xuzheng", "wangbao...

原创 【图文详细 】Scala——特质 Trait

4、特质 Trait  4.1、特质的定义 Scala 和 Java 语言一样，采用了很强的限制策略，避免了多继承的问题。在 Java 语言中，只 允许继承一个超类，该类可以实现多个接口，但 Java 接口有其自身的局限性：接口中只能包括抽象方法，不能包含字段、具体方法。Scala 语言利用 trait 解决了该问题，在 Scala 的 trait 中，它不但可以包括抽象方法还可以包含...

原创 【图文详细 】Scala——继承

3、Scala 继承  3.1、扩展类 在 Scala 中扩展类的方式和 Java 一样都是使用 extends 关键字1、Scala 中，让子类继承父类，与 Java 一样，也是使用 extends 关键字2、继承就代表，子类可以从父类继承父类的 field 和 method；然后子类可以在自己内部放 入父类所没有，子类特有的 field 和 method；使用继承可以有效复...

原创 【图文详细 】Scala——对象

2、Scala 对象  2.1、单例对象 在某些应用场景下，我们可能不需要创建对象，而是想直接调用方法，但是 Scala 语言并不 支持静态成员，没有静态方法和静态字段，Scala 通过单例对象 object 来解决该问题1、存放工具方法和常量2、高效共享单个不可变的实例3、单例模式package com.mazh.scala.day2.oop import sc...

原创 【图文详细 】Scala——类

1、Scala 类 Scala 的类与 Java、C++的类比起来更简洁，学完之后你会更爱 Scala！！！  1.1、定义类 定义一个 Student 类： package com.mazh.scala.day2.oop // 在 Scala中，类并不用声明为 public 。 // 在 Scala文件中，文件名可以不用和类名一致 //Scala源文件中可以...

原创 【图文详细 】Scala——编程练习

6、Scala 编程练习 6.1、99 乘法表 package com.mazh.scala.funny object Table99 { def main(args: Array[String]): Unit = { for (i <- 1 to 9){ for (j <- 1 to i){ printf("%d*%...

原创 【图文详细 】Scala——集合相关

5、Scala 集合相关 5.1、Scala 集合 Scala 的集合有三大类：序列 Seq、集合 Set、映射 Map，所有的集合都扩展自 Iterable 特质 在 Scala 中集合有可变（mutable）和不可变（immutable）两种类型，immutable 类型的集合初始化后就不能改变了（注意与 val 修饰的变量进行区别）  官网解释： Scala collectio...

原创 【图文详细 】Scala——Scala 数组 Array

4、Scala 数组 Array 4.1、定长数组和变长数组 1、由于 Array 是不可变（长度不可变）的，初始化之初就有了固定的长度，所以不能直接 地对其元素进行删除操作，也不能多增加元素，只能修改某个位置的元素的值，要实现删除 可以通过过滤生成新的 Array 的方式来删除不要的元素。所以也就没有 add,insert,remove 等 操作。  2、而 ArrayBuffer ...

原创 【图文详细 】Scala——入门到实战一体，看完都能找工作啦，持续更新，喜欢关注博主

第一部分：Scala——基础语法1、Scala_是什么2、Scala_编译器安装3、Scala_基础语法4、Scala_数组Array5、Scala_集合相关6、Scala_编程练习 第二部分：Scala——面向对象1、Scala_类2、Scala_对象3、Scala_继承4、Scala_特质Trait5、Scala_模式匹配https://...

原创 【图文详细 】Scala——基本语法

3、Scala 基础语法 3.1、Hello Scala package com.mazh.scala.helloworld /** * 作者： 李涛： https://blog.csdn.net/qq_42246689 */ object HelloWorld { // 作用类似于 J ava 的 main 方法 def main(args: Array[St...

原创 【图文详细 】Scala——编译器安装

2、Scala编译器安装2.1、安装JDK因为 Scala 是运行在 JVM 平台上的，所以安装 Scala 之前要安装 JDK  2.2、Windows 平台安装 Scala 访问 Scala 官网 http://www.scala-lang.org/下载 Scala 编译器安装包，目前最新版本是 2.12.x， 但是目前大多数的框架都是用 2.10.x 或者 2.11.x ...

原创 【图文详细 】Kafka消息队列——Kafka 的各种 Shell 操作

1、启动集群每个节点的进程： 2、创建 topic 3、查看已经创建的所有 kafka topic 4、查看某个指定的 kafka topic 的详细信息： 4、开启生产者模拟生成数据： 5、开启消费者模拟消费数据： 6、查看某 topic 某个分区的偏移量最大值和最小值 7、增加 topic 分区数 8、删除 Topic ...

原创 【图文详细 】Kafka消息队列——Kafka 的各种 API 操作

7.1、Kafka 的 API 分类 1、The Producer API  允许一个应用程序发布一串流式的数据到一个或者多个 Kafka Topic。  2、The Consumer API  允许一个应用程序订阅一个或多个 Topic ，并且对发布给他们的流式数据进行处理。  3、The Streams API  允许一个应用程序作为一个流处理器，消费一个或者多个 Topic 产生...

转载 如果有一天程序员再也不忙了

前言 程序员是世界上最可爱的人！ 正文 （一）：程序员是什么（二）：程序员写的代码有什么用（三）：程序员最本质的不同是什么（四）：程序员为什么找不到妹子（五）：程序员的工作究竟有多忙（六）：有一天程序员不忙了会怎样（七）：找不到妹子真的是因为工作忙吗（八）：你自己看吧。。。所以我说的对吗？推荐阅读：技术：程序员该考虑什么时候辞职...

原创 【图文详细 】Kafka消息队列——kafka 集群部署

5.1、Kafka 初体验 单机 Kafka 试玩 官网网址：http://kafka.apache.org/quickstart中文官网：http://kafka.apachecn.org/quickstart.html 5.2、集群部署的基本流程总结 1、下载安装包2、解压安装包到对应的目录3、修改配置文件4、分发安装包5、启动集群，进行验证 5.3、集群部...

原创 【图文详细 】Kafka消息队列——Kafka的核心组件

4.1、kafka的核心组件概述 Kafka 是 LinkedIn 用于日志处理的分布式消息队列，同时支持离线和在线日志处理。 Kafka 对消息保存时根据 Topic 进行归类：发送消息者就是 Producer，消息的发布描述为 Producer 消息接受者就是 Consumer，消息的订阅描述为 Consumer 每个 Kafka 实例称为 Broker，将中间的存储阵...

原创 【图文详细 】Kafka从入门到实战（自学者7篇足以）

1、Kafka是什么2、Kafka优点3、Kafka应用场景4、Kafka的核心组件5、kafka 集群部署6、Kafka 的各种 Shell 操作7、Kafka 的各种 API 操作转载请标明出处：https：//blog.csdn.net/qq_42246689来几副图瞅一瞅：

原创 【图文详细 】Kafka消息队列——Kafka的应用场景

3.1、消息系统Kafka 很好地替代了传统的 message broker（消息代理）。Message Brokers 可用于各种场合（如 将数据生成器与数据处理解耦，缓冲未处理的消息等）。与大多数消息系统相比，Kafka 拥有 更好的吞吐量、内置分区、具有复制和容错的功能，这使它成为一个非常理想的大型消息处 理应用。根据我们的经验，通常消息传递使用较低的吞吐量，但可能要求较低的端到端延迟，...

原创 【图文详细 】Kafka消息队列——Kafka的优点

2、Kafka的优点1、解耦：在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息系统在处理过程中间 插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立 的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2、冗余：有些情况下，处理数据的过程会失败。除非数据被持久化，否则将造成丢失。消息队列把数 据进行持久化直到它们已经被完全处理，通过这一...

原创 【图文详细 】Kafka消息队列——Kafka是什么

1.1、Kafka的概述在流式计算中，Kafka一般用于数据的缓存，Storm通过消费Kafka的数据进行计算。经典架构：Flume + Kafka + Storm/SparkStreaming + Redis Apache Kafka最初由LinkedIn开发的基于发布订阅的分布式的消息系统，由Scala/Java编写，并于 2011 年初开源。2012 年 10 月从 Apache...

原创 【图文详细 】Flume 数据采集组件——实战案例

5、Flume 实战案例  5.1、安装部署 Flume 1、Flume 的安装非常简单，只需要解压即可，当然，前提是已有 Hadoop 环境上传安装包到 数据源所在节点上 然后解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz 然后进入 flume 的目录，修改 conf 下的 flume-env.sh，在里面配置 JAVA_HOME  2、根据数...

原创 【图文详细 】Flume 数据采集组件—— 体系结构/核心组件

4、Flume 体系结构/核心组件  4.1、概述 Flume 的数据流由事件(Event)贯穿始终。事件是 Flume 的基本数据单位，它携带日志数据(字 节数组形式)并且携带有头信息，这些 Event 由 Agent 外部的 Source 生成，当 Source 捕获事 件后会进行特定的格式化，然后 Source 会把事件推入(单个或多个)Channel 中。你可以把 Channel...

原创 【图文详细 】Flume 数据采集组件——概述

3、Flume 概述3.1、Flume 概念 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architectu...

原创 【图文详细 】Flume 数据采集组件——收集工具

2、专业的数据收集工具 2.1、Chukwa Apache Chukwa 是 Apache 旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa 基于 Hadoop 的 HDFS 和 MapReduce 来构建（显而易见，它用 Java 来实现），提供扩展性和 可靠性。Chukwa 同时提供对数据的展示，分析和监视。很奇怪的是它的上一次 Github 的更 新事 7 年前。可见该...

原创 【图文详细 】Flume 数据采集组件——产生背景

1、数据收集工具/系统产生背景 Hadoop 业务的整体开发流程： 任何完整的大数据平台，一般都会包括以下的基本处理过程： 数据采集  数据 ETL  数据存储  数据计算/分析  数据展现 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也 变的尤为突出。这其中包括：数据源多种多样 数据量大，变化快 如何保证数据采集的...

原创 设计模式之六大原则（转载）

原创 【图文详细 】HBase——过滤器查询

1、比较过滤器2、专用过滤器 

原创 【图文详细 】HBase Java API 代码开发

几个主要 Hbase API 类和数据模型之间的对应关系：  

原创 【图文详细 】HBase——命令行演示

1、HBase 命令使用初准备 概述：大数据生态里的各种软件，基本都会给出 shell 命令行操作。所以在拿到新上手的软 件的时候先找到怎么进入命令行，然后相应要想到 help 命令，查看命令帮助。别着急一股 脑儿扎进去敲各种命令，这就是思路，思路很重要。 1.1、先进入hbase shell命令行在你安装的随意台服务器节点上，执行命令：hbase shell，会进入到你的 hba...

原创 【图文详细 】HBase ——集群搭建

1、安装步骤1.1、安装zookeeper集群，此处略，请另找专门的博客阅读，我只专注hbase的搭建！1.2、找到官网下载 hbase 安装包 hbase-1.2.6-bin.tar.gz，这里给大家提供一个下载地址： http://mirrors.hust.edu.cn/apache/hbase/对应版本的官方文档：http://hbase.apache.org/1.2/book....

原创 【图文详细 】HBase 和 Hive 的比较

1、相同点 2、不同点

原创 【图文详细 】HBase 数据库——集群结构

原创 【图文详细 】HBase 数据库——应用场景

原创 【图文详细 】HBase 数据库——表结构逻辑图

1、行键（RowKey)2、列簇（Column Family）3、时间戳（TimeStamp）4、单元格（Cell）

原创 【图文详细 】HBase 数据库——产生背景

自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后， 好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大的数据，任意的格式甚至非结构化的处理。  Hadoop 的限制 Hadoop 只能执行批量处理，并且...

原创 【图文详细 】Hive 优化策略 之 合理利用文件存储格式

创建表时，尽量使用 orc、parquet 这些列式存储格式，因为列式存储的表，每一列的数据在 物理上是存储在一起的，Hive 查询时会只遍历需要列数据，大大减少处理的数据量。 ...

原创 【图文详细 】Hive 优化策略 之 Group By 优化

原创 【图文详细 】Hive 优化策略 之 Join优化