触发器的小应用

触发器的小应用需求描述最近有一个需求,主要是将另外一个系统的数据导入我所负责的系统中,然后在该数据的基础上,做一些应用。不要问我,为什么不用rest full 接口来做。一则,另外一个系统所用的技术不同,重新开发比较麻烦。另外,由于两个数据库类型不同,不再同一个局域网等条件限制,我们也不能采用数据...

2017-11-19 23:01:03

阅读数 248

评论数 0

spring-boot缓存测试

需求描述对于频繁访问的数据,为了减少生成数据所需要的成本,我们有时需要对这些频繁访问的数据做缓存。对于数据缓存,有很多开源包可以实现,如EHCache ,JCache ,ShiftOne 等。以前做过缓存相关的东西,都是利用一些开源缓存工具,自己写一个单例类来实现定时缓存功能。这次测试,我们通过...

2017-11-12 17:19:58

阅读数 262

评论数 0

windows环境下python安装open cv 读取tiff文件

windows环境下python安装open cv 读取tiff文件背景 天池数据大赛《广东政务数据创新大赛—应用创新赛》,首先需要解决第一关,就是查看比赛给出的两个tiff格式的数据文件。本身没有地理信息专业的背景,所以压根就没打算用那些专业的gis软件。在天池技术圈里发现了一篇大神的实验文...

2017-09-12 22:07:59

阅读数 1992

评论数 0

spark 发布 2.2.0版本

Apache Spark 2.2.0是2.x分支上的第三次主版本发布,其他两个版本分别2.0.x,2.1.x两个主版本以及下属的分支版本。这次发布spark移除了Structured Streaming的实验标签。也就是说,这次发布的版本的焦点在于其易用性、稳定性,并完善、解决了超过1100个问题...

2017-07-24 23:36:02

阅读数 3023

评论数 0

intellij idea搭建python环境,运行tensorFlow样例程序

本文主要记录使用tensorFlow入门操作笔记,包括:intellij idea配置python运行环境,运行第一个样例程序,为后边学习tf打下基础 intellij idea配置python环境 首先要保证你的电脑上装有python,没有安装的百度创建python项目 创建p...

2017-05-02 21:50:40

阅读数 13491

评论数 1

spring-boot jpa 配置两个数据源

spring-boot jpa 配置两个数据源 内容简介 1、配置两个mysql数据库 2、配置一个mysql,一个h2内存数据库 如何配置两个mysql数据库 1、配置文件 首先,连接数据的配置文件需要改变,即增加第二个数据库的url,username,pas...

2017-05-02 21:44:18

阅读数 9335

评论数 1

spring-boot 集成swagge(2)

1、前言 我们写的restful接口是给别人用的,但是,这个接口在怎么用?资源路径在哪?参数传什么?。。。。。。 这么多信息写接口的人是需要提供给接口使用者的。一种方式是写文档,大家共享文档,但是这样还是比较麻烦,需要不断的更新文档,维护文档,还需要确保文档及时的分享给我们的小伙伴。对于这个问...

2017-01-01 00:35:47

阅读数 2110

评论数 0

spring-boot restful接口学习(1)

1、前言 因为工作需要,开始写后台服务的接口,使用的框架是spring-boot。关于微服务的好处、架构,产生的渊源,度娘上一堆文章,官网上也有很多描述,这里不再赘述。这里只是准备梳理一下用spring-boot做微服务接口的相关知识。从最基本的开始,一点点记录自己的学习过程。也算是在总结的过程加...

2016-12-31 23:36:18

阅读数 4255

评论数 0

intellid idea安装plantUML插件以及错误解决

1、下载plantUML插件 plantuml4idea.zip http://pan.baidu.com/s/1hrNaRoo 2、intellid idea离线安装plantUML插件 file =》 settings =》 plugins =》 install plugin from...

2016-12-02 16:56:43

阅读数 6772

评论数 5

Rstudio-server编写python程序测试

背景描述: 最近在头条上看到,有很多pyhton使用者,喜欢静将rstudio作为编辑器。出于好奇,尝试了一下。不得不说,这对组合还是蛮合适的。因为对于大神级的代码编写者,他们偏向于使用vim直接在服务器上编写python代码,随时调试,这种沉浸式编程效率极高。但是,对于我等初级小码农,vim也许...

2016-08-13 16:34:50

阅读数 1864

评论数 0

spark streaming接kafka数据方式汇总

1、利用kafka高阶api (1)常用的方法 def main(args: Array[String]) {     if (args.length        System.err.println("Usage: KafkaWordCount    ")  ...

2016-03-22 17:02:14

阅读数 2216

评论数 0

美国数据科学家带你看看大数据的未来

从SGI的首席科学家John R. Masey在1998年提出大数据概念,到大数据分析技术广泛应用于社会的各个领域,已经走过了17年的时间。现在再也没有企业怀疑大数据分析的力量,并且都在竞相利用大数据来增强自己企业的业务竞争力。但是,即使17年过去,大数据分析行业仍然处于快速发展的初期,每时每刻都...

2016-03-17 18:54:29

阅读数 2392

评论数 0

Apache Spark 1.6发布(新特性介绍)

Apache Spark 1.6发布 CSDN大数据 | 2016-01-06 17:34 今天我们非常高兴能够发布Apache Spark 1.6,通过该版本,Spark在社区开发中达到一个重要的里程碑:Spark源码贡献者的数据已经超过1000人,而在2014年年末时人...

2016-01-06 17:43:08

阅读数 2969

评论数 0

通过jmc监控spark应用的内存使用情况

1、概述 使用jmc工具 (1)连接本机java测试程序 (2)连接远程主机java测试程序 (3)连接spark集群中提交的App中的driver,executor,监控这两个进程的jvm使用情况 2、操作过程 (1)连接本机 测试代码 public ...

2015-12-25 19:28:37

阅读数 3075

评论数 0

spark aggregateByKey函数使用问题

aggregateByKey 样例代码 val conf = new SparkConf().setAppName("SparkTest").setMaster("local[*]") val sc = new SparkContext(conf) ...

2015-12-24 11:05:24

阅读数 4425

评论数 4

搭建hadoop2.6.0 HA及YARN HA

以前用hadoop2.2.0只搭建了hadoop的高可用,但在hadoop2.2.0中始终没有完成YARN HA的搭建,直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程,没有仔细看hadoop的官方文档,貌似hadoop2.2.0不支持YARN HA,...

2015-12-01 14:23:56

阅读数 387

评论数 0

spark stream中的dstream对象saveAsTextFiles问题

利用spark streaming从kafka读取数据,进行流数据的统计分析,最后产生dstream类型的结果集,但是涉及到数据的保存时,遇到了一点小障碍。 我们都知道,spark中普通rdd可以直接只用saveAsTextFile(path)的方式,保存到本地,hdfs中,但是dstream对...

2015-09-19 12:41:17

阅读数 6561

评论数 0

Hadoop 权限管理

如下图,hadoop访问控制分为两级,其中ServiceLevel Authorization为系统级,用于控制是否可以访问指定的服务,例如用户/组是否可以向集群提交Job,它是最基础的访问控制,优先于文件权限和mapred队列权限验证。Access Control on Job Queues在j...

2015-09-02 11:09:39

阅读数 627

评论数 0

时间序列相关函数

【资料】 文档1:《R与金融时间序列分析常见问题集》 【包】 library(zoo)            #时间格式预处理 library(xts)            #同上 library(timeSeires)      #同上 library(urca)       ...

2015-08-25 17:16:13

阅读数 1780

评论数 0

java通过rJava调用R失败的问题总结

尝试使用Java通过rJava来调用R,但是一直出现如下错误 Cannot find JRI native library! Please make sure that the JRI native library is in a directory listed in java.librar...

2015-08-24 18:24:21

阅读数 3412

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭