《算法--Day1》每天一小步

《算法——Day1》每天一小步   1、算法:算法定义一系列的计算过程,此过程将某个值或集合作为输入,并产生某个值或集合作为输出结果。             五要素:有穷性、确定性、输入项、输出项、可行性             算法的评定:时间复杂度、空间复杂度、正确性、可读性、健壮...

2019-02-19 23:28:56

阅读数 43

评论数 0

Java每日算法1--设计一个有getMin功能的栈

目标:实现一个特殊的栈,在实现栈的基本功能的基础上,实现返回栈中最小的元素的操作 要求:1、pop、push、getMin操作的时间复杂度都是 O(1)            2、设计的栈类型可以使用现成的栈结构 实现:在设计上使用两个栈,一个栈用来保存当前栈中的元素,和正常栈一样...

2018-12-30 16:15:03

阅读数 38

评论数 0

JWT

待总结

2018-12-13 00:08:38

阅读数 14

评论数 0

Spark SQL 外部数据源(External DataSource)

1 概述  1.Spark1.2中,Spark SQL开始正式支持外部数据源。Spark SQL开放了一系列接入外部数据源的接口,来让开发者可以实现。使得Spark SQL可以加载任何地方的数据,例如mysql,hive,hdfs,hbase等,而且支持很多种格式如json, parquet, ...

2018-12-13 00:07:02

阅读数 71

评论数 0

Neo4j 图数据库

一、各种数据库 关系数据库管理系统(霸主):擅长处理时间流水数据 Nosql(新型、不限于关系型:1.键-值存 2.BigTable 3.文档库 4.图形数据库):擅长处理互联网社交网络,智能推荐等 二、图数据库 1、为什么选择图数据库? 火? 2、什么是图数据库?图...

2018-12-12 23:58:46

阅读数 42

评论数 0

Spark转换(transform)与动作(action)一览

【说的很特么抽象,能看得懂算你厉害啊,所以代码详解:一个Spark Demo与代码详解以下func,大部分时候为了让逻辑更清楚,推荐使用匿名函数!(lambda)】【ps:java和python的api是一样的,名字和参数没有变化】转换含义map(func)每一个输入元素经过func函数转换后输出...

2018-07-08 15:52:58

阅读数 230

评论数 0

Spark的两种分布式部署模式: Mesos,Yarn

(转载地址:http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/)目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和 s...

2018-07-05 22:24:29

阅读数 741

评论数 0

如何优雅地关闭SparkStreaming

https://www.jianshu.com/p/b11943c94b8a参考2(已经过时)给出来一个方法,在scala中sys.ShutdownHookThread可以捕获SIGTERM方法,所以当收到kill -SIGTERM时,能够优雅的退出;def main(args: Array[St...

2018-06-28 22:30:43

阅读数 104

评论数 0

Java的23种设计模式

在网上看了一些设计模式的文章后,感觉还是印象不太深刻,决定好好记录记录。原文地址:http://blog.csdn.net/doymm2008/article/details/13288067   注:本文代码基本都有很多没有初始化等等问题,主要是为了减少代码量,达到一眼就能了解大概情况的目的。 ...

2018-06-23 10:41:29

阅读数 60

评论数 0

头像文件上传服务器的功能实现

https://blog.csdn.net/shirukai/article/details/80770007NoteBook案例:头像文件上传服务器的功能实现在此项目中,用户注册时,需要上传头像,这里简单的利用了几个插件,实现了头像上传服务器的功能。前端利用了一个upload的插件,后端引用了S...

2018-06-23 09:34:17

阅读数 373

评论数 0

Kafka 参数调优

Kafka 生产调优参数:Producer:  acks: all buffer.memory: 536870912 compression.type :snappy retries: 100        max.in.flight.requests.per.connection = 1 bat...

2018-06-22 15:12:37

阅读数 1056

评论数 0

本机idea远程调试flume

https://blog.csdn.net/u012373815/article/details/60601118最近又要自定义开发flume source 插件,每次插件打包后运行,不能再编译器里debug 感觉好苦恼。于是今天就看了一下flume 的远程调试。一看感觉挺简单的。所以就分享一下。...

2018-06-22 10:19:17

阅读数 198

评论数 0

Spark性能优化指南——高级篇

本文转自:http://tech.meituan.com/spark-tuning-pro.html                 http://lxw1234.com/archives/2016/05/663.htm感谢原作者前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调...

2018-06-20 16:19:22

阅读数 79

评论数 0

Spark会把数据都载入到内存么?

前言很多初学者其实对Spark的编程模式还是RDD这个概念理解不到位,就会产生一些误解。比如,很多时候我们常常以为一个文件是会被完整读入到内存,然后做各种变换,这很可能是受两个概念的误导:RDD的定义,RDD是一个分布式的不可变数据集合Spark 是一个内存处理引擎如果你没有主动对RDDCache...

2018-06-20 16:17:38

阅读数 388

评论数 0

Spark 各种参数解释总结

1 spark on yarn常用属性介绍属性名默认值属性说明spark.yarn.am.memory512m在客户端模式(client mode)下,yarn应用master使用的内存数。在集群模式(cluster mode)下,使用spark.driver.memory代替。spark.dri...

2018-06-14 12:05:21

阅读数 1080

评论数 0

SparkStreaming 日志双写 直连flume

生产环境中,开发会写入一些测试数据,或者黑名单过滤,或者只抓取黑名单transform 日志双写 ==> log a:正常的 a:test的 黑名单过滤 log     black============================================...

2018-06-14 11:53:34

阅读数 67

评论数 0

SparkStreaming - 写入到mysql ForeachRdd

import java.sql.DriverManager import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object ForeachRDDApp...

2018-06-14 11:08:32

阅读数 161

评论数 0

Spark Streaming的还原药水——Checkpoint

一个 Streaming Application 往往需要7*24不间断的跑,所以需要有抵御意外的能力(比如机器或者系统挂掉,JVM crash等)。为了让这成为可能,Spark Streaming需要 checkpoint 足够多信息至一个具有容错设计的存储系统才能让 Application 从...

2018-06-13 23:28:26

阅读数 77

评论数 0

关于SparkStreaming的checkpoint的弊端

框架版本spark2.1.0kafka0.9.0.0当使用sparkstreaming处理流式数据的时候,它的数据源搭档大部分都是Kafka,尤其是在互联网公司颇为常见。 当他们集成的时候我们需要重点考虑就是如果程序发生故障,或者升级重启,或者集群宕机,它究竟能否做到数据不丢不重呢?也就是通常我们...

2018-06-13 23:27:03

阅读数 82

评论数 0

Spark-streaming kafka数据接收两种方式对比

1.1 Receiver-based Approach这种方式利用接收器(Receiver)来接收kafka中的数据,其最基本是使用Kafka高阶用户API接口。对于所有的接收器,从kafka接收来的数据会存储在spark的executor中,之后spark streaming提交的job会处理这...

2018-06-13 13:36:31

阅读数 749

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭