Kafka单机部署

Kafka单机部署 环境说明 Red Hat 4.8.5-36 JDK1.8 Zookeeper-3.4.8 kafka_2.11-0.10.1.1 Zookeeper单机版部署 部署步骤 1、下载zookeeper-3.4.8.tar.gz 2、解压tar -zxvf zookeeper-3...

2019-03-29 14:43:51

阅读数 51

评论数 0

单机HBase部署以及Java远程连接单机HBase

HBase单机环境搭建 环境说明 Red Hat 4.8.5-36 JDK1.8 HBase2.1.1 部署过程 1、下载 hbase-2.1.1-bin.tar.gz 2、解压文件 tar -zxvf hbase-2.1.1-bin.tar.gz 3、修改配置文件$HBASE_HOME/co...

2019-03-12 20:10:33

阅读数 117

评论数 0

关系型数据库大数据量递进解决方案及诱发问题

1、数据量增多,单靠主键查询效率低效,增加查询字段索引,提升查询效率。 2、单节点压力过大,采用读写分离,将查询压力增加到其他节点,查询节点设置索引,插入节点不设置索引。但会导致数据存在时差,如果有多个读节点,将会导致短时间内数据不一致。 3、使用redis、memcached等缓存中间件,将常用...

2019-02-27 11:27:12

阅读数 184

评论数 0

Spark从入门到精通10 -- Spark Shuffle

Spark Shuffle Shuffle简介 Shuffle(数据混洗)是将一组无规则的数据转换为一组有规则的数据。Spark是一个分布式计算引擎,大多数的计算和数据转换过程是在多台计算机上执行的,当我们对RDD进行规约操作时,例如reduceByKey,或者当两个RDD之间是宽依赖的关系时,...

2019-02-27 11:01:27

阅读数 73

评论数 0

Spark从入门到精通9 -- Spark Streaming

Spark Streaming Spark Streaming简介 Spark Streaming是Spark为了处理实时流数据而设计的模型,允许基于批处理API进行对实时流数据进行处理。 Spark Streaming使用离散化流(discretized stream)作为抽象表示,叫做...

2019-02-14 11:17:51

阅读数 111

评论数 0

Spark从入门到精通8 -- Spark SQL

Spark SQL Spark SQL简介 Spark SQL是用来操作结构化数据的程序包,支持多种数据源(Hive表、Parquet、JSON),可以基于Spark SQL进行数据的查询,为数据计算提供数据入口。 Spark SQL提供一种特殊的RDD,叫做DataFrame,DataFram...

2019-02-14 11:16:51

阅读数 105

评论数 0

Spark从入门到精通7 -- Spark编程进阶

Spark编程进阶 累加器 介绍与使用场景 当我们在驱动器端声明一个变量时,如果我们在计算过程中需要对变量进行修改,这个时候不同的执行器拿到的当前变量的一个副本。类似于Java多线程场景下对共享变量的操作。所以累加器作为一个驱动器端声明的变量,能保证多个执行器端操作的时候是不会发生变量冲突的情况。...

2019-02-14 11:15:57

阅读数 39

评论数 0

Spark从入门到精通6 -- Spark数据读取与保存

Spark数据读取与保存 Spark支持多种数据源 文件格式 文件系统 SparkSQL结构化数据 数据库 文件格式 支持的文件格式有文本文件、SequenceFile、序列化对象、Hadoop输入输出格式、protocol buffer、压缩文件等。介绍几种常见的文件格式api: 文本文件 ...

2019-02-14 11:14:35

阅读数 30

评论数 0

Spark从入门到精通5 -- Spark运行架构及流程

Spark运行架构及流程 Spark运行架构 架构图 基本概念 Application:用户编写的Spark应用程序,一个main方法。 Driver:程序中执行main方法的进程,创建SparkContext为Spark应用程序提供运行环境,负责与ClusterManager的通信,进行资源...

2019-02-14 11:13:29

阅读数 35

评论数 0

Spark从入门到精通4 -- RDD编程

RDD编程 RDD是什么 弹性分布式数据集RDD是Spark中不可变的分布式对象集合,每个RDD被分为多个分区,分区运行在集群不同节点上。我们可以通过Java、Scala、Python语言操作RDD,进行数据的处理。 RDD操作类型 转化操作(transformation) 转化操作指将一个R...

2019-02-14 11:11:49

阅读数 65

评论数 0

Spark从入门到精通3 -- Spark简介

Spark Spark简介 Spark是一个用来实现快速且通用的集群计算平台 Spark组件示意图 Spark SQLSpark CoreSpark StreamingMLlibGraphX独立调度器YARNMesos Spark Core Spark Core是Spark的核心计算引擎,...

2019-02-14 11:10:18

阅读数 177

评论数 0

Spark从入门到精通2 -- Scala基础语法

Scala 数据类型 Unit:与java中void表示同一含义。 //main方法声明 def main(args: Array[String]): Unit = { } Any:所有其他类的超类,是抽象类 AnyRef:所有引用类的基类,与java中Object表示同一个意思 ...

2019-02-14 11:03:34

阅读数 98

评论数 0

Spark从入门到精通1 -- 大数据生态组件

大数据生态组件 大数据生态关系图 Flume日志收集Storm流式计算SparkStreamingScala编程语言JavaPythonMahout机器学习库MLlibzookeeperHadoop家族HbaseHueSqoopOozie大数据生态大数据通用处理平台分布式数据存储资源调度数据分...

2019-02-14 11:00:45

阅读数 73

评论数 0

Java基于Socket创建指定ip端口的服务端,并与客户端进行消息交互实现消息下发,与消息监听

Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口。 服务端代码 public static void main(String[] args) throws Exception { ServerSocket server = new ServerSo...

2019-02-12 14:59:50

阅读数 185

评论数 1

对接fastDFS存储组件设计文档

文章目录设计背景设计目标设计思路功能设计代码目录接口设计init 初始化upload 文件上传download 文件下载delete 文件删除异常处理配置文件说明fastdfs-client.properties使用demo(springboot)流程图 设计背景 对接私有化存储组件,解耦现行对...

2018-11-13 16:07:28

阅读数 38

评论数 0

windows下搭建nginx服务并实现基于端口与路径转发

文章目录windows下搭建nginxnginx下载nginx使用启动命令停止命令重新加载配置文件nginx配置 windows下搭建nginx nginx下载 下载地址:http://nginx.org/en/download.html 下载截图 直接解压即可 nginx使用 nginx...

2018-11-09 17:41:54

阅读数 475

评论数 0

mysql同一个事务中先插入再查询与先删除再查询结果分析

一,现象展示 1、先插入再查询 BEGIN; INSERT INTO video (CREATE_TIME, UPDATE_TIME, VERSION, VID, VIDEO_NAME, SPEED, RATE, HORIZONTAL, VERTICAL, SIZE, LIB_ID, ALA...

2018-10-19 16:25:18

阅读数 4476

评论数 0

二叉树的十种遍历方式

一、二叉树对象 public class Node { public Node left; public Node right; public String value; public Node() { super(); } ...

2018-10-10 11:58:01

阅读数 33

评论数 0

spring全局异常处理

@ControllerAdvice @Slf4j public class GlobalExceptionHandler { @ExceptionHandler(BindException.class) @ResponseBody public BaseResult h...

2018-09-14 10:40:16

阅读数 91

评论数 0

基于kmp算法实现字符串时间复杂度为O(N)级别的比较

一、暴力比较字符串时间复杂度为0(N*M) /** * 暴力匹配 时间复杂度为 O(N*M) * @param str1 * @param str2 * @return */ public static boolea...

2018-09-13 09:53:21

阅读数 431

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭