自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 Maven依赖Scope标签简介

转自:http://blog.csdn.net/wuha0/article/details/18667983在一个maven项目中,如果存在编译需要 而发布不需要的jar包,可以用scope标签,值设为provided。如下: <dependency> ...

2016-11-29 09:48:33 484 0

原创 android上传图片并附带上传数据,文件流

关于android的图片上传有两种方式,一种是以文件流的方式上传,图片转换成二进制上穿。另一种是把图片转成base64方式上传,这篇博客我只介绍文件流,关于base64方式会在下一篇博客中介绍!       首先是安卓端;图片上传我们需要一个图片的路径,同过调用本地相册或者拍照可以返回图片路径,这...

2016-11-25 16:53:37 12130 0

原创 SparkSQLDemo初尝--SparkSession链接数据库

本例子通过spark sql 链接其他数据库。对数据库的信息进行操作。过滤。代码时刻:首先是main 方法,创建SparkSession实例。 def main(args: Array[String]) { val sparkConf = new SparkConf().setAppNam...

2016-11-25 00:16:21 8475 0

原创 sparkStreaming初尝--scala链接mysql分析

本例子是我初尝 spark 的sparkStreaming官方小例子修改的。我的思路是使用jdbc 链接数据库,然后查询数据库,将查询结果生成一个RDD ,放入RDD queue,然后每次取出rdd 进行计算和过滤处理。本文结构如下: 1.sparkStreamingDemo 2.scala 链接...

2016-11-23 23:34:28 5296 0

原创 spark开发环境搭建(基于idea 和maven)

使用idea构建maven 管理的spark项目 ,默认已经装好了idea 和Scala,mac安装Scala 那么使用idea 新建maven 管理的spark 项目有以下几步: scala插件的安装 全局JDK和Library的设置 配置全局的Scala SDK 新建maven项目 属于你...

2016-11-22 00:26:56 43742 20

原创 spring boot 整合spring data jpa

本文结构: - 什么是springdata jpa - springboot 整合spring data jpaSpring Data Repository的核心接口是Repository(好像也没什么好惊讶的)。这个接口需要领域类(Domain Class)跟领域类的ID类型作为参数。这个接...

2016-11-20 16:38:11 32148 0

原创 hadoop 初识

Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。 Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Ha...

2016-11-20 00:32:00 960 0

原创 软件开发部分文档说明

软件开发文档包括软件需求说明书、数据要求说有书、概要设计说明书、详细设计 说明书、可行性研究报告、项目开发计划。 一:软件需求说明书软件需求说明书也称为软件规格说明。该说明书对所开发软件的功能、性能、用户 界面及运行环境等做出详细的说明。它是用户与开发人员双方对软件需求取得共同理 解基础上达成的协...

2016-11-19 18:31:09 1493 0

原创 Spark进阶体验

本章节通过spark-shell进入我们的单机spark的终端进行一些简单的运算。 本节内容如下 新建RDD 进行乘法操作 新建RDD 进行过滤操作 编写wordCount小例子 union的使用 groupByKey join reduce lookup 首先安装和启动spark,此部分请参照...

2016-11-19 17:32:16 1955 0

原创 mac安装Scala

Scala语言的名称来自于“可伸展的语言”。它是一种把面向对象和函数式编程理念加入到静态类型语言中的 混血儿。它跑在标准的 Java 平台上,可以与所有的 Java 库实现无缝 交互。它也是用来编写脚 把 Java 控件链在一起的很好的语言。但是用它来建立大系统 和可重用控件的架构将更能够发挥它的...

2016-11-19 16:22:45 24456 0

原创 spark 安装单机版和集群

本文介绍安装mac单机版的spark,和spark 集群安装 分以下步骤 安装scala 下载spark 压缩包并解压 修改spark的配置文件 配置环境变量 验证安装情况 安装Scala mac安装scala教程 下载spark压缩包并解压 到官网下载spark的...

2016-11-18 10:38:59 5690 0

原创 redhat7.1 安装mysql 5.7.10

在redhat下安装mysql,步骤如下 Mysql目录安装位置:/usr/local/mysql 数据库保存位置:/data/mysql 日志保存位置:/data/log/mysql 1.    获取mysql安装包,mysql-5.7.10-linux-glibc2.5-x86_64.ta...

2016-11-03 22:41:17 5023 2

原创 mac 中docker安装mysql

今天在docker中安装了mysql ,是自己打的docker包。 首先新建Dockerfile 内容如下:FROM mysql:latestMAINTAINER abel.yang <527515025@qq.com> LABEL Descripttion="This ...

2016-11-03 09:54:23 5888 2

提示
确定要删除当前文章?
取消 删除