qq_36382679的博客

原创 优化后的HashShuffleManager

原创 spark执行流程图

原创 Spark yarn Client模式和Spark yarn cluster模式

原创 Spark自定义外部数据源API

原创 spark内存管理

原创 未经优化的HashShuffleManager

原创 Structured Streaming checkpoint详解

原创 Spark中piovt的使用案例解析

Spark中piovt的使用案例解析1 PiovtTestimport org.apache.spark.sql.{Dataset, SparkSession}object PiovtTest { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession .builder() .appName(this.getClass.getSimpleName.stripSu

原创 sparkMllib特征工程API图解

原创 0814 大数据面试题总结 --part1

原创 hive的组成

原创 MapReudce的中内存管理分配

原创 MapReduce的shuffle阶段

原创 混肴矩阵 性能矩阵 概念图解

原创 人工智能入门知识点

原创 hive中多行转多列

原创 Spark中combineByKey的使用

原创 SparkSubmit具体的提交流程

原创 自定义的插值公式

自定义的插值公式1using System.Collections;using System.Collections.Generic;using UnityEngine;namespace ACTBook{ /** * static function Repeat (t : float, length : float) : float * 循环数值t，0到length之间。t值永远不会大于length的值，也永远不会小于0。 * 这是类似于 模 运算符，但

原创 使用协程分解复杂逻辑

使用协程分解复杂逻辑using System.Collections;using System.Collections.Generic;using UnityEngine;namespace ACTBook{ public class Villager : MonoBehaviour { const float FATIGUE_DEFAULT_VALUE = 12f;//疲倦默认值 const float SATIATION_DEFAULT_VAL

原创 线程通信_生产消费4S店案例

线程通信_生产消费4S店案例经典 生产消费者面试题 (wait、notify 实现)4S店存放生产的汽车生产者线程生产汽车消费者线程购买汽车4S店最多只能存放4台车，如果达到4台车生产者停止生产如果4S店没有库存车，消费需等待有库存后，方可购买import java.util.LinkedList;public class D2_线程通信_生产消费4S店案例 { static final int CAR_STORE_NUM = 4; static int CAR_NUM

原创 线程通信_交替打印案例

线程通信_交替打印案例/** * wait()、notify()、notifyAll()是三个定义在Object类里的方法，可以用来控制线程的状态。 * 这三个方法最终调用的都是jvm级的native方法。随着jvm运行平台的不同可能有些许差异。 * * todo 如果对象调用了wait方法就会使持有该对象的线程把对象的控制权交出去，然后处于等待状态 * todo 如果对象调用了notify方法就会通知某个正在等待这个对象的控制权的线程可以继续运行 * todo 如果对象调用了notifyA

原创 Kafka知识体系以及面试重点详解

原创 Spark面试题

map和mapPartition的区别主要区别：map是对rdd中的每一个元素进行操作；mapPartitions则是对rdd中的每个分区的迭代器进行操作MapPartitions的优点：如果是普通的map，比如一个partition中有1万条数据。ok，那么你的function要执行和计算1万次。使用MapPartitions操作之后，一个task仅仅会执行一次function，function一次接收所有的partition数据。只要执行一次就可以了，性能比较高。如果在map过程中需要频繁创建

原创 kafka面试题 0806

1 Topic中数据如何管理？存储过程Topic：逻辑的划分数据的概念Partition：在物理上以目录的存在分区名称：Topic+分区标号分区角色主副本分区负责对外提供读写从副本分区负责与主副本同步数据AR：All replicas所有副本ISR：in sync replicas可用副本/正在同步的 副本只有ISR的从副本可以参加选举OSR ：out sync replicas不可用副本/没有同步的副本根据分区规则写入主副本

原创 常用工具(五) --解析Excel表格的工具类

解析Excel表格的工具类<!--用于解析Excel表格的工具类--><dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml-schemas</artifactId> <version>3.8</version></dependency>import bigdata.itcast.cn.

原创 常用工具(四) -- 时间工具类

时间工具类import org.apache.commons.lang3.time.FastDateFormatobject DateUtils { /** * 获取当前的日期，格式为:20190710 */ def getTodayDate(): String = { // a. 获取当前日期 val nowDate = new Date() // b. 转换日期格式 FastDateFormat.getInstance("yyyy-MM-dd").format(no

原创 常用工具(三) -- 管理配置文件

管理配置文件<dependency> <groupId>com.typesafe</groupId> <artifactId>config</artifactId> <version>1.2.1</version></dependency>config.properties# local modeapp.is.local=trueapp.spark.master=local

原创 常用工具(二) -- 分词工具

分词工具<dependency> <groupId>com.hankcs</groupId> <artifactId>hanlp</artifactId> <version>portable-1.7.7</version></dependency>object HanLPTest { def main(args: Array[String]): Unit = { // v

原创 常用工具(一) -- IP地址解析工具类

IP地址解析工具类<dependency> <groupId>org.lionsoul</groupId> <artifactId>ip2region</artifactId> <version>1.7.2</version></dependency>/** * IP地址解析工具类 */object IpUtils { /** * IP地址解析为省份和城市 *

原创 Kafka一键启动脚本

Kafka一键启动脚本1.vim /etc/profileexport KAFKA_HOME=/export/servers/kafkaexport PATH=$PATH:$KAFKA_HOME/bin2.vim /usr/local/bin/kafkacmd.sh#! /bin/bash# Kafka代理节点地址hosts=(node01 node02 node03)# 打印启动分布式脚本信息mill=`date "+%N"`tdate=`date "+%Y-%m-%d %H:

原创 Kafka架构图