Maven依赖Scope标签简介

转自:http://blog.csdn.net/wuha0/article/details/18667983在一个maven项目中,如果存在编译需要 而发布不需要的jar包,可以用scope标签,值设为provided。如下: javax.servlet.jsp <artifact...
阅读(285) 评论(0)

android上传图片并附带上传数据,文件流

关于android的图片上传有两种方式,一种是以文件流的方式上传,图片转换成二进制上穿。另一种是把图片转成base64方式上传,这篇博客我只介绍文件流,关于base64方式会在下一篇博客中介绍!       首先是安卓端;图片上传我们需要一个图片的路径,同过调用本地相册或者拍照可以返回图片路径,这个在这里就不说了;假设我们获得图片路径为PicPath; 下面是安卓代码: 首先我们要封装要发送...
阅读(5664) 评论(0)

SparkSQLDemo初尝--SparkSession链接数据库

本例子通过spark sql 链接其他数据库。对数据库的信息进行操作。过滤。代码时刻:首先是main 方法,创建SparkSession实例。 def main(args: Array[String]) { val sparkConf = new SparkConf().setAppName("SparkSQLDemo") sparkConf.setMaster("local")...
阅读(2245) 评论(0)

sparkStreaming初尝--scala链接mysql分析

本例子是我初尝 spark 的sparkStreaming官方小例子修改的。我的思路是使用jdbc 链接数据库,然后查询数据库,将查询结果生成一个RDD ,放入RDD queue,然后每次取出rdd 进行计算和过滤处理。本文结构如下: 1.sparkStreamingDemo 2.scala 链接mysql 数据库 1.sparkStreamingDemo由于这个demo需要spark 和jdbc...
阅读(1909) 评论(0)

spark开发环境搭建(基于idea 和maven)

使用idea构建maven 管理的spark项目 ,默认已经装好了idea 和Scala,mac安装Scala 那么使用idea 新建maven 管理的spark 项目有以下几步: scala插件的安装 全局JDK和Library的设置 配置全局的Scala SDK 新建maven项目 属于你的”Hello World!” 导入spark依赖 编写sprak代码 打包在spark上运行 1.sc...
阅读(8565) 评论(2)

spring boot 整合spring data jpa

本文结构: - 什么是springdata jpa - springboot 整合spring data jpaSpring Data Repository的核心接口是Repository(好像也没什么好惊讶的)。这个接口需要领域类(Domain Class)跟领域类的ID类型作为参数。这个接口主要是让你能知道继承这个类的接口的类型。CrudRepository 供了对被管理的实体类的一些常用C...
阅读(10536) 评论(0)

hadoop 初识

Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。 Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。 Ma...
阅读(647) 评论(0)

软件开发部分文档说明

软件开发文档包括软件需求说明书、数据要求说有书、概要设计说明书、详细设计 说明书、可行性研究报告、项目开发计划。 一:软件需求说明书软件需求说明书也称为软件规格说明。该说明书对所开发软件的功能、性能、用户 界面及运行环境等做出详细的说明。它是用户与开发人员双方对软件需求取得共同理 解基础上达成的协议,也是实施开发工作的基础。软件需求说明书的编制目的的就是 为了使用户和软件开发者双方对该软件的初始规定...
阅读(653) 评论(0)

Spark进阶体验

本章节通过spark-shell进入我们的单机spark的终端进行一些简单的运算。 本节内容如下 新建RDD 进行乘法操作 新建RDD 进行过滤操作 编写wordCount小例子 union的使用 groupByKey join reduce lookup 首先安装和启动spark,此部分请参照mac 单机版 spark 安装启动后进入spark 的bin 目录运行spark-shell 进入终端...
阅读(1285) 评论(0)

mac安装Scala

Scala语言的名称来自于“可伸展的语言”。它是一种把面向对象和函数式编程理念加入到静态类型语言中的 混血儿。它跑在标准的 Java 平台上,可以与所有的 Java 库实现无缝 交互。它也是用来编写脚 把 Java 控件链在一起的很好的语言。但是用它来建立大系统 和可重用控件的架构将更能够发挥它的力量。 安装scala需要如下步骤 下载压缩包并解压 配置环境变量 检验安装结果 1.进入官网下载压缩包...
阅读(4810) 评论(0)

mac 单机版 spark 安装

本文介绍安装单机版的spark,安装单机版的spark 分一下步骤 安装scala 下载spark 压缩包并解压 修改spark的配置文件 配置环境变量 验证安装情况 安装Scalamac安装scala教程下载spark压缩包并解压到官网下载spark的安装包(我用的是spark-2.0.1-bin-hadoop2.7.tgz)http://mirror.bit.edu.cn/apache/spa...
阅读(2753) 评论(0)

redhat7.1 安装mysql 5.7.10

在redhat下安装mysql,步骤如下 Mysql目录安装位置:/usr/local/mysql 数据库保存位置:/data/mysql 日志保存位置:/data/log/mysql 1.    获取mysql安装包,mysql-5.7.10-linux-glibc2.5-x86_64.tar解压后目录如下。 2.    解压mysql-5.7.10-linux-g...
阅读(2093) 评论(0)

mac 中docker安装mysql

今天在docker中安装了mysql ,是自己打的docker包。 首先新建Dockerfile 内容如下:FROM mysql:latestMAINTAINER abel.yang LABEL Descripttion="This image is build for MAC to use mysql" Vendor="GitHub" Version="l...
阅读(2304) 评论(2)
    个人资料
    • 访问:640202次
    • 积分:9011
    • 等级:
    • 排名:第2312名
    • 原创:305篇
    • 转载:34篇
    • 译文:0篇
    • 评论:209条
    博客专栏