自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

泡泡鱼的专栏

里面都是平时学习和工作中碰到的一些问题及解决方法,希望可以帮到大家。有不同见解的,可以在下面评论,反正我也不会看的。(开玩笑了)...

转载 利用SSH隧道技术实现跳板机SHELL登陆以及SFTP到内网服务器

跳板原理 SSH隧道技术,分别有三种方法实现:本地端口转发、远程端口转发、静态SOCKS代理 XMANAGER——静态SOCKS代理 出于安全考虑,公司的一组应用服务器仅允许特定P远程SSH访问,带来安全防护的同时也增加了进行SSH登录和SFTP上传维护的繁琐,在授权的IP服...

2016-09-05 18:36:59 6564 0

转载 Mybatis JdbcType与Oracle、MySql数据类型对应列表

1. Mybatis JdbcType与Oracle、MySql数据类型对应列表 Mybatis JdbcType Oracle MySql JdbcType ARRAY     JdbcType ...

2016-08-31 11:34:46 5879 0

原创 java Comparable 和Comparator详解及 区别(附代码)

java中,对集合对象或者数组对象排序,有两种实现方式。 即:(1)对象实现Comparable 接口         (2)定义比较器,实现Comparator接口。 下面会简要介绍这两种方法的区别,并附上实现代码,供大家参考。 Comparable介绍 Comparable是...

2016-08-17 15:05:05 13095 5

原创 java mysql 高性能批量处理 设置rewriteBatchedStatements

昨天研究了一下mysql的批处理,最初发现很慢 10000条    每次1000    243秒 50000条    每次500条   1295秒 代码如下:package main; import java.sql.*; public class JdbcStreaming { publ...

2016-08-03 14:40:34 13407 1

原创 spark操作mysql数据库

spark对mysql提供了一些基本的读写操作,今天这边文章主要从读写两个方面来讲。 一、spark读取mysql数据库 1、通过JdbcRdd来读取       首先看一下官方文档是如何介绍的 翻译为: 1、getConnection 返回一个已经打开的结构化数据库连接...

2016-07-18 18:03:18 10939 0

原创 spark函数讲解:aggregate

函数原型: def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U Aggregate the elements of each partition, ...

2016-07-13 18:44:45 2149 0

转载 spark函数讲解:cogroup

cogroup:将多个RDD中同一个Key对应的Value组合到一起。最多可以组合四个RDD 函数原型: def cogroup[W1, W2, W3](other1: RDD[(K, W1)], other2: RDD[(K, W2)], other3: RDD[(K, W3)...

2016-07-13 17:20:05 3767 0

转载 Spark函数讲解:collectAsMap

/** * User: 过往记忆 * Date: 15-03-16 * Time: 上午09:24 * bolg: http://www.iteblog.com * 本文地址:http://www.iteblog.com/archives/1289 * 过往记忆博客,专注于hadoop...

2016-07-13 17:08:19 2185 0

转载 spark性能调优指南(四)(shuffle调优)

shuffle调优 调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行调优。但是也必须提醒大家的是,影响一个Spark作业性能的因素,主要还是代码开...

2016-07-12 18:34:49 887 0

转载 Spark性能优化指南(三)(数据倾斜调优)

数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。 数据倾斜发生时的现象 绝大多数task执行得都非常快,但个别task执行...

2016-07-12 18:11:40 784 0

转载 Spark性能优化指南(二)(资源调优)

本文转自美团技术博客:http://tech.meituan.com/spark-tuning-basic.html 资源调优 调优概述 在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,...

2016-07-12 17:31:32 1020 0

转载 Spark性能优化指南(一)(开发调优)

本文转自美团技术博客:http://tech.meituan.com/spark-tuning-basic.html 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算...

2016-07-12 17:28:06 739 0

转载 hive中order by,sort by, distribute by, cluster by作用以及用法

1. order by     Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一...

2016-07-12 17:07:14 605 0

原创 偏差和方差

偏差(Bias):描述的是预测值(估计值)的期望与真实值之间的差距。偏差越大,越偏离真实数据,如下图第二行所示。 方差(Variance):描述的是预测值的变化范围,离散程度,也就是离其期望值的距离。方差越大,数据的分布越分散,如下图右列所示。 下面通过一个故事来讲解: ...

2016-07-12 16:50:28 678 0

原创 java通过JDBC操作mysql数据库

package main; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; import java.util.Arra...

2016-06-21 19:04:13 621 0

原创 CyclicBarrier和CountDownLatch区别

这两天写多线程时,用到了CyclicBarrier,下意识的认为CyclicBarrier和CountDownLatch作用很像,就翻阅资料查了一下,说一下他们的区别吧 CyclicBarrier和CountDownLatch 都位于java.util.concurrent 这个包下 ...

2016-03-18 19:19:10 27727 13

原创 mkdir()和mkdirs()

mkdir() 和mkdirs()都是创建文件夹 mkdir():在某个目录下创建下一级目录,如果上级目录不存在,则创建失败。 mkdirs():如果上级目录不存在,则挨个创建目录 package main.java.file; import java.io.*; public class ...

2016-03-17 18:12:52 596 0

转载 java将控制台信息输出到文件

添加以下代码: import java.io.*; public class IO2File { public static void main(String[] args) throws IOException { File f=new File("out...

2016-03-17 17:11:45 11906 4

原创 保存Log4j日志文件到指定路径

第一种方法: 1、web.xml中添加如下代码: webAppRootKey webapp.root log4jConfigLocation classpath:log4j.properties log4jRefreshInterval 600...

2016-03-17 17:05:23 5988 0

原创 Log4j配置详解

配置文件示例: ### set log levels ### log4j.rootLogger = debug , stdout , D , E ### 输出到控制台 ### log4j.appender.stdout = org.apache.log4j.ConsoleAppender...

2016-03-16 17:42:42 578 0

原创 Spring MVC配置Velocity

Velocity是一种Java模板引擎。 和JSP,Freemarker差不多,都是用来展示网页内容的。 和JSP不同的是velocity只能显示Action中的数据,不能处理数据。不能写java代码,但是可以使用Velocity标记。 Velocity的页面(模版)可是是任何类型(text...

2016-03-14 15:28:52 9870 1

原创 Java参数传递:值传递和引用传递

Java参数传递方式分为两种:值传递和引用传递 Java基本数据类型都是值传递方式,非基本数据类型(即引用类型,String除外,下面会详细介绍)是引用传递方式。 下面举例介绍: 1、基本数据类型及其包装类 public class testMain { public static...

2016-03-10 16:28:51 747 0

原创 通配符的匹配很全面, 但无法找到元素 'mvc:annotation-driven' 的声明

报错信息:通配符的匹配很全面, 但无法找到元素 'mvc:annotation-driven' 的声明 原因是:虽然在xml文件上方声明了mvc,但没有配置此声明对应的文件信息,正确配置如下:        xmlns:xsi="http://www.w3.o...

2016-03-10 12:16:54 44139 5

原创 SpringMVC中四个基本注解

Spring mvc常用4个基本注解 @Component、@Repository 、@Service、@Controller @Controller 控制层 ,通常我们所说的action层 @Service 业务逻辑层,通常我们所说的service层或者manger层 @Repository...

2016-03-10 12:06:15 5342 1

原创 Spring 整合mybatis配置

Spring整合mybatis配置 Mybatis是ibatis的升级版,是一个基于java的持久层框架。Mybatis是支持普通SQL查询,存储过程和高级映射的优秀的持久层框架,Mybatis 消除了几乎所有JDBC代码和参数的手工设置以及结果集的检索。MyBatis 使用简单的 XML或注解用...

2016-03-10 11:21:08 12390 2

原创 mybatis-generator 代码自动生成工具

今天来介绍下怎么用mybatis-gennerator插件自动生成mybatis所需要的dao、bean、mapper xml文件,这样我们可以节省一部分精力,把精力放在业务逻辑上。 之前看过很多文章,都是借助eclipse或者IDEA等其他工具,今天讲的这个方法是,直接在命令提示符下运行。 程序...

2016-03-09 15:29:18 70250 36

原创 maven查询库

在用maven搭建框架时,在配置pom.xml时,总因为不知道对应jar的配置路径而头疼, 下面列举两个查找maven库的地址: 1、http://search.maven.org/ 2、http://mvnrepository.com/

2016-03-07 10:53:45 717 0

原创 IDEA 创建基于Maven的spring mvc框架

IDEA 创建基于Maven的spring框架 最近在用IDEA,发现IDEA已经集合了很多模板,只需要选择一下,就可以创建一个基于maven的spring mvc框架 准备工作: 1、安装:IDEA、maven、jdk、tomcat 2、IDEA配置jdk,maven,tomcat  ,...

2016-03-04 18:02:12 5054 2

原创 IDEA配置maven

1、打开File-->settings 2、搜索maven,或者按以下路径,点开maven配置页,依次配置maven路径,setting文件即可。

2016-03-04 17:15:20 7437 0

原创 IDEA配置tomcat

1、如图所示,点击Edit configuration,进入如下页面 2、点击左上角+号,选择tomcat server-->Local 3、点击configure,进入tomcat配置页 4、选择tomcat路径 5、依次点击OK 6、点击右下方Fi...

2016-03-04 17:05:18 1934 0

原创 IDEA配置jdk

提前安装jdk,配置环境变量 一、配置jdk 1、依次点开File -->Project Structure,点击左侧标签页,点击SDKs 2、点击+号,选SDK 3、在弹出框选择jdk路径(我本地装了两个jdk,大家可以忽略) 4、点击OK,可以看到jdk配置好了 ...

2016-03-04 16:21:19 168938 18

翻译 请简要描述客户端发送的http request header都包含哪些内容

问题描述: 请简要描述客户端发送的http request header都包含哪些内容? 解答: HTTP Request header 当今web程序的开发技术真是百家争鸣,ASP.NET, PHP, JSP,Perl, AJAX 等等。 无论Web技术在未来如何发展,理解Web程...

2016-02-25 12:26:42 2192 0

原创 jsp 静态引用和动态引用的区别

1. 首先先介绍下,jsp机制:  servlet容器,先将jsp转化成servlet,然后编译成.class文件,放置容器缓冲区【tomcat的work目录下】。 每次调用jsp时,服务器会读取编译好的servler.class,处理jsp的请求。 2.    在ser...

2016-02-25 11:06:47 6926 0

原创 IDEA打包可运行jar

背景: 有时候,我们会用IDEA来开发一些小工具,需要打成可运行的JAR包;或者某些项目不是WEB应用,纯粹是后台应用,发布时,也需要打成可运行的JAR包。并且,如果依赖第三方jar时,又不希望第三方jar也打入最终的可运行jar包,并且还希望,组织下目录结构(如把第三方jar文件,放到最终可运...

2016-02-16 17:58:59 5129 0

原创 maven 配置 pom.xml 详解

什么是pom? pom作为项目对象模型。通过xml表示maven项目,使用pom.xml来实现。主要描述了项目:包括配置文件;开发者需要遵循的规则,缺陷管理系统,组织和licenses,项目的url,项目的依赖性,以及其他所有的项目相关因素。这是一个一站式项目管理商店,里面包含了项目需要的各种东西...

2016-02-16 17:02:51 2424 0

转载 java.lang.UnsatisfiedLinkError: D:\Tomcat\apache-tomcat-7.0.37\bin\tcnative-1.dll: Can't load AMD 6

昨天重装系统后,把Java环境变量都配置好,myeclipse环境也搭建好后,今天做项目时启动tomcat后,出现这种情况,百度后说去 该地址下载一个32位的dll文件,替换tomcat的bin\目录下对应的文件 http://www.apache.org/dist/tomca...

2016-02-16 11:12:05 2112 0

转载 spring中scope作用域

今天研究了一下scope的作用域。默认是单例模式,即scope="singleton"。另外scope还有prototype、request、session、global session作用域。scope="prototype"多例。再配置bean的作用域时...

2015-10-22 22:32:21 431 0

转载 maven依赖关系中Scope的作用

依赖范围控制哪些依赖在哪些classpath 中可用,哪些依赖包含在一个应用中。让我们详细看一下每一种范围:   compile (编译范围)   compile是默认的范围;如果没有提供一个范围,那该依赖的范围就是编译范围。编译范围依赖在所有的classpath 中可用, 同时它们...

2015-10-22 22:19:40 360 0

转载 maven详解之坐标与依赖

看着简单而又复杂的pom.xml文件,看似熟悉,当自己编写的时候觉得简单,但是看人家项目的时候又觉得复杂的很,现在我们一起来分析这个pom文件。 Maven的坐标为各种构件引入了秩序,任何一个构件都必须明确的定义自己的坐标,maven的坐标包括如下的元素: groupId: 定义当前Ma...

2015-10-22 22:15:52 440 0

转载 java设计模式之单例模式(几种写法及比较)

概念:   java中单例模式是一种常见的设计模式,单例模式的写法有好几种,这里主要介绍三种:懒汉式单例、饿汉式单例、登记式单例。   单例模式有以下特点:   1、单例类只能有一个实例。   2、单例类必须自己创建自己的唯一实例。   3、单例类必须给所有其他对象提供这一实例。   ...

2015-10-21 22:56:49 9516 2

提示
确定要删除当前文章?
取消 删除