谦卑t

十年生死两茫茫,写程序,到天亮

Spark Core 核心知识--RDD

目录 1、Spark核心功能 1.1 SparkContext 1.2 存储体系 1.3 计算引擎 1.4 部署模式 2、Spark扩展功能 2.1 Spark 2.2 Spark Streaming 2.3 Spark Graphx 2.4 Spark MLlib 3、Sp...

2019-01-10 20:38:05

阅读数 39

评论数 1

【图文详细 】Scala——入门到实战一体,看完都能找工作啦,持续更新,喜欢关注博主

第一部分:Scala——基础语法 1、Scala_是什么 2、Scala_编译器安装 3、Scala_基础语法 4、Scala_数组Array 5、Scala_集合相关 6、Scala_编程练习   第二部分:Scala——面向对象 1、Scala_类 2、Scala_对象 ...

2018-12-18 18:38:49

阅读数 125

评论数 0

【图文详细 】Scala编程语言——什么是Scala

总结: 我对自己的要求是终身学习和每天保持迅速的进步,小老弟如果觉得看着还可以,我也不要你的赞和双击666,欢迎来看我定时更新的博客Scala汇总,并定时向您汇报最新的Scala内容:https://blog.csdn.net/qq_42246689/article/details/850733...

2018-12-18 08:59:45

阅读数 4440

评论数 4

【图文详细 】Kafka从入门到实战(自学者7篇足以)

1、Kafka是什么 2、Kafka优点 3、Kafka应用场景 4、Kafka的核心组件 5、kafka 集群部署 6、Kafka 的各种 Shell 操作 7、Kafka 的各种 API 操作 转载请标明出处:https://blog.csdn.net/qq_42246689 ...

2018-12-10 19:44:26

阅读数 182

评论数 0

【图文详细 】Flume数据采集组件(5篇精彩博文供大神查阅)

1、Flume的产生背景 2、Flume的收集工具 3、Flume的概述 4、Flume的体系架构及核心组件 5、Flume的实战案例 转发标明出处:https://blog.csdn.net/qq_42246689       下面给出流程图,供各位大神查阅:     ...

2018-12-10 18:47:59

阅读数 81

评论数 0

【图文详细 】什么是Hive,深入浅出!

第一部分:Hive原理 为什么要学习Hive的原理 •一条Hive HQL将转换为多少道MR作业 •怎么样加快Hive的执行速度 •编写Hive HQL的时候我们可以做什么 •Hive 怎么将HQL转换为MR作业 •Hive会采用什么样的优化方式 Hive架构&amp...

2018-11-20 20:26:57

阅读数 221

评论数 0

spark (java API) 在Intellij IDEA中开发并运行

概述:Spark 程序开发,调试和运行,intellij idea开发Spark java程序。 分两部分,第一部分基于intellij idea开发Spark实例程序并在intellij IDEA中运行Spark程序.第二部分,将开发程序提交到S...

2019-01-23 18:47:10

阅读数 0

评论数 0

深入解析淘宝Diamond之客户端架构

说明:本文不介绍如何使用Diamond,只介绍Diamond的实现原理 一、什么是Diamond diamond是淘宝内部使用的一个管理持久配置的系统,它的特点是简单、可靠、易用,目前淘宝内部绝大多数系统的配置,由diamond...

2019-01-19 09:06:39

阅读数 60

评论数 0

Kafka性能测试分析

首先要特别感谢赵崇贺同学利用业余时间进行的压测,才能为本文提供专业的测试数据 一、测试环境准备 Cpu 内存 硬盘 Intel(R) Xeon(R) CPU E5520 @ 2.27GHz 32G 6T ...

2019-01-18 18:33:51

阅读数 24

评论数 0

利用多写Redis实现分布式锁原理与实现分析

在我写这篇文章的时候,其实我还是挺纠结的,因为我这个方案本身也是雕虫小技拿出来显眼肯定会被贻笑大方,但是我最终还是拿出来与大家分享,我本着学习的态度和精神,希望大家能够给与我指导和改进方案。 一、关于分布式锁 关于分布式锁,可能绝大部分人都会...

2019-01-18 18:28:34

阅读数 11

评论数 0

Python之Pandas中Series、DataFrame实践

Python之Pandas中Series、DataFrame实践 1. pandas的数据结构Series 1.1 Series是一种类似于一维数组的对象,它由一组数据(各种NumPy数据类型)以及一组与之相关的数据标签(即索引)组成。 1.2 Se...

2019-01-18 18:24:53

阅读数 14

评论数 0

降低PNG图片存储大小方法、图片压缩方法

1. 将PNG图片用PS打开。 2. 图像-模式-8位/通道 (这样在后续存储时才有gif存储选项) 3. 将图片另存为GIF。 4. 选项中选择局部可感知或者全部可感知。 5. 强制选择“无”,勾选透明度。 6. 存储后的gif文件和原png文件对比,从20.6k变为...

2019-01-17 17:21:59

阅读数 32

评论数 0

mysql 提示表不存在的解决方法error: 1146: Table doesn't exist

直接拷贝数据库导致提示表不存在的解决方法 电脑重装系统后把原来的mysql data复制进去后大部分表是可以访问的,但是有几个表提示表不存在: error: 1146: Table 'a_content' doesn't exist这种情况就是要把原来mysql安装目录data里的 ibdat...

2019-01-16 20:53:25

阅读数 21

评论数 0

ETL技术入门之ETL初认识

ETL是什么 ETL是Extract Transform Load三个英文单词的缩写 中文意思就是抽取、转换、加载。说到ETL就必须提到数据仓库。 先说下背景知识: 信息是现代企业的重要资源,是企业运用科学管理、决策分析的基础。目前,...

2019-01-16 20:38:05

阅读数 21

评论数 0

ElasticSearch是什么?(看不懂我吃 - - - -> S)

​​​​​​ ElasticSearch是什么 ?WTFuck?   Shay Banon认为自己参与Lucene完全是一种偶然,当年他还是一个待业工程师,跟随自己的新婚妻子来到伦敦,妻子想在伦敦学习做一名厨师,而自己则想为妻子开发一个方便搜索菜谱的应用,所以才接触到Lucene。直接使用Lu...

2019-01-16 13:05:20

阅读数 27

评论数 0

50道MySQL面试题,掌握之后你将获得无上法力,一发不可收拾!

MySQL面试题50道,精彩集锦!   一、Mysql中有哪几种锁?   1.表级锁:开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低。   2.行级锁:开销大,加锁慢;会出现死锁;锁定...

2019-01-14 19:52:13

阅读数 39

评论数 0

Spark 的运行流程

目录 1.1、Spark的基本运行流程 1.2、运行流程图解 1.3、SparkContext初始化 1.4、Spark运行架构特点 1.5、DAScheduler 1.6、TaskScheduler 1.7、SchedulerBackend 1.8、Executor 1.1、S...

2019-01-12 19:18:12

阅读数 22

评论数 0

Spark的核心概念

大多数应该都要有实际写过 Spark 程序和提交任务到 Spark 集群后才有更好的理解  1、Application:表示你的应用程序,包含一个 Driver Program 和若干 Executor  2、Driver Program:Spark 中的 Driver 即运行上述 Appli...

2019-01-12 18:54:26

阅读数 15

评论数 0

Spark的WordCount

8、Spark的WordCount   8.1、Scala 版本的 WordCount  packge com.mazh.spark import org.apache.spark.{SparkConf, SparkContext} /* *作者:https://blog.csdn....

2019-01-08 10:14:30

阅读数 19

评论数 0

修改Spark的日志级别

7、修改Spark的日志级别   7.1、永久修改  从我们运行的 spark 程序运行的情况来看,可以看到大量的 INFO 级别的日志信息。淹没了 我们需要运行输出结果。可以通过修改 Spark 配置文件来 Spark 日志级别。  以下是详细步骤:  第一步:先进入 conf 目录 ...

2019-01-08 10:08:12

阅读数 44

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭