- 博客(60)
- 收藏
- 关注
RSS订阅原创 Virtualbox扩展磁盘空间
当我们使用VirtualBox创建虚拟机时，常常因为对磁盘空间估算不准确，导致磁盘空间设置的比较小。然而在实际使用过程当中，随着数据的积累，磁盘空间捉襟见肘。此时需要我们扩展虚拟机虚拟磁盘大小。命令行扩展1、在Virtualbox安装目录下找到VBoxManage.exe可执行文件2、.\VBoxManage.exe modifyhd D:\virtual_machine\ubuntu\ubuntu.vdi --resize 4096040960是扩展后的磁盘大小，单位为M3、查看磁盘大小：.\V
2021-07-29 15:11:24
726
原创 触发器的小应用
触发器的小应用需求描述最近有一个需求，主要是将另外一个系统的数据导入我所负责的系统中，然后在该数据的基础上，做一些应用。不要问我，为什么不用rest full 接口来做。一则，另外一个系统所用的技术不同，重新开发比较麻烦。另外，由于两个数据库类型不同，不再同一个局域网等条件限制，我们也不能采用数据备份方案。方案为了解决这个问题，经过仔细考虑，最终采用触发器记录变动，定时程序同步数据的方案。对需要同步
2017-11-19 23:01:03
848
原创 spring-boot缓存测试
需求描述对于频繁访问的数据，为了减少生成数据所需要的成本，我们有时需要对这些频繁访问的数据做缓存。对于数据缓存，有很多开源包可以实现，如EHCache ，JCache ，ShiftOne 等。以前做过缓存相关的东西，都是利用一些开源缓存工具，自己写一个单例类来实现定时缓存功能。这次测试，我们通过使用spring-boot中集成的缓存工具，利用注解方式实现数据缓存。经过测试后，发现spring-bo
2017-11-12 17:19:58
1015
原创 windows环境下python安装open cv 读取tiff文件
windows环境下python安装open cv 读取tiff文件背景 天池数据大赛《广东政务数据创新大赛—应用创新赛》,首先需要解决第一关，就是查看比赛给出的两个tiff格式的数据文件。本身没有地理信息专业的背景，所以压根就没打算用那些专业的gis软件。在天池技术圈里发现了一篇大神的实验文章 【实验代码】可视化tiff数据。于是撸袖子尝试了一番。不得不说，在windows下折腾python真
2017-09-12 22:07:59
2856
翻译 spark 发布 2.2.0版本
Apache Spark 2.2.0是2.x分支上的第三次主版本发布，其他两个版本分别2.0.x,2.1.x两个主版本以及下属的分支版本。这次发布spark移除了Structured Streaming的实验标签。也就是说，这次发布的版本的焦点在于其易用性、稳定性，并完善、解决了超过1100个问题(目前来看，实际上有1146个问题，具体内容可以在spark的 jira上看到)。这次版本主要对一下几
2017-07-24 23:36:02
3489
原创 intellij idea搭建python环境，运行tensorFlow样例程序
本文主要记录使用tensorFlow入门操作笔记，包括：intellij idea配置python运行环境，运行第一个样例程序，为后边学习tf打下基础intellij idea配置python环境首先要保证你的电脑上装有python，没有安装的百度创建python项目创建python sdkFile-> Project-structure->SDKs这里会有三种
2017-05-02 21:50:40
17267
1
原创 spring-boot jpa 配置两个数据源
spring-boot jpa 配置两个数据源内容简介1、配置两个mysql数据库2、配置一个mysql,一个h2内存数据库如何配置两个mysql数据库1、配置文件首先，连接数据的配置文件需要改变，即增加第二个数据库的url，username,password下面给出我的测试配置，仅供参考:spring: datasource:
2017-05-02 21:44:18
11895
1
原创 spring-boot 集成swagge（2）
1、前言我们写的restful接口是给别人用的，但是，这个接口在怎么用？资源路径在哪？参数传什么？。。。。。。这么多信息写接口的人是需要提供给接口使用者的。一种方式是写文档，大家共享文档，但是这样还是比较麻烦，需要不断的更新文档，维护文档，还需要确保文档及时的分享给我们的小伙伴。对于这个问题，我们伟大的先驱者已经想到解决的方法，那就是一个非常便捷的神器——swagge。通过这个工具，我们可
2017-01-01 00:35:47
2522
原创 spring-boot restful接口学习（1）
1、前言因为工作需要，开始写后台服务的接口，使用的框架是spring-boot。关于微服务的好处、架构，产生的渊源，度娘上一堆文章，官网上也有很多描述，这里不再赘述。这里只是准备梳理一下用spring-boot做微服务接口的相关知识。从最基本的开始，一点点记录自己的学习过程。也算是在总结的过程加深自己对这方面技术的认识。2、第一个hello接口这个接口是spring-boot官网上的例
2016-12-31 23:36:18
4969
原创 intellid idea安装plantUML插件以及错误解决
1、下载plantUML插件plantuml4idea.ziphttp://pan.baidu.com/s/1hrNaRoo2、intellid idea离线安装plantUML插件file =》 settings =》 plugins =》 install plugin from diskok等待安装完成3、安装完plantUML在使用的时候回一直
2016-12-02 16:56:43
10846
6
原创 Rstudio-server编写python程序测试
背景描述：最近在头条上看到，有很多pyhton使用者，喜欢静将rstudio作为编辑器。出于好奇，尝试了一下。不得不说，这对组合还是蛮合适的。因为对于大神级的代码编写者，他们偏向于使用vim直接在服务器上编写python代码，随时调试，这种沉浸式编程效率极高。但是，对于我等初级小码农，vim也许就不那么友好了。首先,很多vim命令就让人非常头痛，再加上vim界面实在是有点丑（加相关的插件，可以
2016-08-13 16:34:50
2679
1
原创 spark streaming接kafka数据方式汇总
1、利用kafka高阶api（1）常用的方法def main(args: Array[String]) { if (args.length System.err.println("Usage: KafkaWordCount ") System.exit(1) } StreamingExamples.setStre
2016-03-22 17:02:14
2444
转载 美国数据科学家带你看看大数据的未来
从SGI的首席科学家John R. Masey在1998年提出大数据概念，到大数据分析技术广泛应用于社会的各个领域，已经走过了17年的时间。现在再也没有企业怀疑大数据分析的力量，并且都在竞相利用大数据来增强自己企业的业务竞争力。但是，即使17年过去，大数据分析行业仍然处于快速发展的初期，每时每刻都在产生新的变化。从概念到实用、从结构化数据分析到非结构化数据分析，大数据分析技术在不断地进化。
2016-03-17 18:54:29
2899
转载 Apache Spark 1.6发布(新特性介绍)
Apache Spark 1.6发布CSDN大数据 | 2016-01-06 17:34今天我们非常高兴能够发布Apache Spark 1.6，通过该版本，Spark在社区开发中达到一个重要的里程碑：Spark源码贡献者的数据已经超过1000人，而在2014年年末时人数只有500。那么，Spark 1.6有什么新特性呢？Spark 1.6有逾千个补丁。
2016-01-06 17:43:08
3188
原创 通过jmc监控spark应用的内存使用情况
1、概述使用jmc工具（1）连接本机java测试程序（2）连接远程主机java测试程序（3）连接spark集群中提交的App中的driver,executor，监控这两个进程的jvm使用情况2、操作过程（1）连接本机测试代码public class HelloWorld { public static void main(Stri
2015-12-25 19:28:37
4303
原创 spark aggregateByKey函数使用问题
aggregateByKey样例代码val conf = new SparkConf().setAppName("SparkTest").setMaster("local[*]")val sc = new SparkContext(conf)val data = sc.parallelize(List((1, 3), (1, 2), (1, 4), (2, 3)))def s
2015-12-24 11:05:24
4827
4
转载 搭建hadoop2.6.0 HA及YARN HA
以前用hadoop2.2.0只搭建了hadoop的高可用，但在hadoop2.2.0中始终没有完成YARN HA的搭建，直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程，没有仔细看hadoop的官方文档，貌似hadoop2.2.0不支持YARN HA，如果说错了谢谢指正呀，下面总结一下我的搭建流程：首先完成虚拟机的搭建：
2015-12-01 14:23:56
540
原创 spark stream中的dstream对象saveAsTextFiles问题
利用spark streaming从kafka读取数据，进行流数据的统计分析，最后产生dstream类型的结果集，但是涉及到数据的保存时，遇到了一点小障碍。我们都知道，spark中普通rdd可以直接只用saveAsTextFile(path)的方式，保存到本地，hdfs中，但是dstream对象没有saveAsTextFile()方法，只有saveAsTextFiles()方法，而且，其参数只
2015-09-19 12:41:17
8054
转载 Hadoop 权限管理
如下图，hadoop访问控制分为两级，其中ServiceLevel Authorization为系统级，用于控制是否可以访问指定的服务，例如用户/组是否可以向集群提交Job，它是最基础的访问控制，优先于文件权限和mapred队列权限验证。Access Control on Job Queues在job调度策略层之上，控制mapred队列的权限。DFSPermmision用户控制文件权限。目前版本中
2015-09-02 11:09:39
813
转载 时间序列相关函数
【资料】文档1：《R与金融时间序列分析常见问题集》【包】library(zoo) #时间格式预处理library(xts) #同上library(timeSeires) #同上library(urca) #进行单位根检验library(tseries) #arma模型lib
2015-08-25 17:16:13
3234
原创 java通过rJava调用R失败的问题总结
尝试使用Java通过rJava来调用R，但是一直出现如下错误Cannot find JRI native library!Please make sure that the JRI native library is in a directory listed in java.library.path.网上找了许多解决方法，总结一下原因就是jri.dll有两个，一个是32的
2015-08-24 18:24:21
4111
转载 修改linux文件权限命令：chmod
Linux系统中的每个文件和目录都有访问许可权限，用它来确定谁可以通过何种方式对文件和目录进行访问和操作。 文件或目录的访问权限分为只读，只写和可执行三种。以文件为例，只读权限表示只允许读其内容，而禁止对其做任何的更改操作。可执行权限表示允许将该文件作为一个程序执行。文件被创建时，文件所有者自动拥有对该文件的读、写和可执行权限，以便于对文件的阅读和修改。用户也可根据需要把访问权限设置为需
2015-08-24 16:29:55
489
原创 linux root创建新用户笔记
linux创建新用户首先以root身份登录，useradd test创建一个test用户，并在home目录下自动创建一个test目录passwd test设置test的密码利用crt远程登录的时候会有些小问题要注意不能使用原来建立连接要将原来的连接节点删掉，重新创建或者之间重新创建一个连接！！！！！！！！！
2015-08-24 16:12:06
646
转载 30个实例详解TOP命令
Linux中的top命令显示系统上正在运行的进程。它是系统管理员最重要的工具之一。被广泛用于监视服务器的负载。在本篇中，我们会探索top命令的细节。top命令是一个交互命令。在运行top的时候还可以运行很多命令。我们也会探索这些命令。（译注：不同发行版的top命令在各种细节有不同，如果发现不同时，请读你的帮助手册和命令内的帮助。）1. Top 命令输出:首先，让我们了解一下
2015-08-22 11:08:48
3860
转载 浅析关系数据库和NoSql非关系数据库
1 关系数据库 1.1 关系数据库的简介 支持关系模型的数据库系成之为关系数据库，是目前各类数据库中使用最为广泛的数据库系统。关系数据库在经过二十几年的发展，已经变的功能强大，使用广泛，产品成熟的数据库系统，现在使用主流的数据库都为关系型数据库，比较熟悉的如SQL Server、Mysql、Oracle、Sybase、Informix、DB2等。在网络上使用比较广泛的是Sql Se
2015-08-19 18:54:00
4396
转载 Linux中环境变量文件及配置
一、环境变量文件介绍转自：http://blog.csdn.net/cscmaker/article/details/7261921Linux中环境变量包括系统级和用户级，系统级的环境变量是每个登录到系统的用户都要读取的系统变量，而用户级的环境变量则是该用户使用系统时加载的环境变量。所以管理环境变量的文件也分为系统级和用户级的，下面贴一个网上找到的讲的比较明白的文件介绍（略作修
2015-08-13 14:28:54
429
转载 嵌套类与内部类
定义在一个类内部的类，叫作“嵌套类”。嵌套类分为两种：static的和非static的。后者又有一个专门的名字，叫作“内部类”。所以从概念可以看出，嵌套类跟内部类是所属关系，后者包含于前者。示例代码如下：class OuterClass { ... static class StaticNestedClass { ... } class Inne
2015-08-03 20:53:00
461
转载 hadoop常用操作命令
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件
2015-07-29 11:34:20
475
转载 超详细单机版搭建hadoop环境图文解析
前言：年前，在老大的号召下，我们纠集了一帮人搞起了hadoop，并为其取了个响亮的口号“云在手，跟我走”。大家几乎从零开始，中途不知遇到多少问题，但终 于在回家之前搭起了一个拥有12台服务器的集群，并用命令行在该集群上运行了一些简单的mapreduce程序。想借此总结我们的工作过程。安装过程： 一、安装Linux操作系统二、在Ubuntu下创建hadoop用户组和用
2015-07-27 16:56:42
465
转载 Scala集合
这个章节的内容包含基本数据结构ListSetTupleMaps函数组合器mapforeachfilterzippartitionfinddrop and dropWhilefoldRight and foldLeftflattenflatMap广义的函数组合器如何处理好Map?基本数据结构Scala提供了一些很方便的集合类。参考 《E
2015-07-27 14:19:53
633
转载 kafka安装和测试
1. 简介 kafka （官网地址：http://kafka.apache.org）是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。 i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。ii. 多个broker协同合作，producer、consumer和broker
2015-07-15 16:58:01
592
转载 ZooKeeper搭建系列集 （这套很全，也很详细）
本篇文章结构：总共包括10个系列 ZooKeeper系列之一：ZooKeeper简介 ZooKeeper系列之二：ZooKeeper数据模型、命名空间以及节点的概念 ZooKeeper系列之三：ZooKeeper的安装ZooKeeper系列之四：ZooKeeper的配置
2015-07-15 15:38:52
1735
转载 rpm安装找不到.so库文件（linux动态库连接的相关知识）
1、找不到库文件的原因库文件不存在 这种情况一般是因为所需要的包没装，只要安装相应的包就可以解决存在而系统不知道 这种情况一般出现在自己编译软件时候 确保库文件所在的路径已加入系统，在/etc/ld.so.conf文件中设置 用命令ldconfig更新数据库在编译一些开源软件的时候常常会遇到类似于error while loading shared libraries: l
2015-07-10 14:08:40
5229
原创 rstudio-server安装问题解决笔记
1、目标及问题在linux上安装R语言，并安装rstudio-server，使用web UI进行R的代码编写。源码编译安装的时候问题不大，能够进入rcmd中，进行相关操作，但是rstudio-server安装时问题就比较多了，结果就是rstudio-server启动不起来，web界面打不开。2、R的源码编译安装这个比较简单，从R的官方网站上下载R的linux版本，地址：http:/
2015-07-06 15:45:49
10768
1
转载 SparkR的安装配置
1. SparkR的安装配置1.1. R与Rstudio的安装1.1.1. R的安装我们的工作环境都是在Ubuntu下操作的，所以只介绍Ubuntu下安装R的方法：1） 在/etc/apt/sources.list添加源deb http://mirror.bjtu.edu.cn/cran/bin/linux/ubuntu p
2015-07-06 14:34:26
2339
1
转载 linux的hostname修改详解
Linux操作系统的hostname是一个kernel变量，可以通过hostname命令来查看本机的hostname。也可以直接cat /proc/sys/kernel/hostname查看。 #hostname #cat /proc/sys/kernel/hostname 上面两种输出结果相同。 修改运行时Linux系统的hostname，即不需要重启
2015-07-04 12:39:27
1638
转载 Linux下RPM软件包的安装与卸载方法
在 Linux 操作系统下，几乎所有的软件均通过RPM 进行安装、卸载及管理等操作。RPM 的全称为Redhat Package Manager ，是由Redhat 公司提出的，用于管理Linux 下软件包的软件。Linux 安装时，除了几个核心模块以外，其余几乎所有的模块均通过RPM 完成安装。RPM 有五种操作模式，分别为：安装、卸载、升级、查询和验证。 RPM 安装操作
2015-07-02 19:00:06
529
转载 用R语言画柱状图
柱状图：源码：slices names png("r-graph-sample.png")barplot(beside=TRUE,slices,#纵轴取值names.arg=names,#边框名字border="black",#边框颜色col=c("purple","green3","blue","red"),#框内线
2015-07-01 15:14:23
15422
转载 理解maven的核心概念
好久没进行java方面的开发了，最近又完成了一个java相关的任务，顺便重新体会了 maven 这一利器。在使用过程中发现以前对maven的理解不够深入，借此机会重新梳理了一下maven的核心概念。相信理解了这些核心概念， 即使长时间不使用，以后再重新上手也会非常容易。本文以类图的方式，介绍maven核心的12个概念以及相互之间的关系。Table of Contents
2015-06-27 15:10:51
470
转载 SPARK搭建中WORKER起不来的恢复方法
我用的CENTER OS V6.2在编译部署完SPARK 1.1.0和1.2.0后，发现WORKER总是起不来的问题，解决方法分享给大家，希望能有所参考。错误信息：SPARK 1.1.0vm1: failed to launch org.apache.spark.deploy.worker.Worker:vm1: at java.lang.Class.initial
2015-06-12 10:54:25
5793
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人