泡泡鱼的专栏

里面都是平时学习和工作中碰到的一些问题及解决方法,希望可以帮到大家。有不同见解的,可以在下面评论,反正我也不会看的。(开玩笑了)...

排序:
默认
按更新时间
按访问量

利用SSH隧道技术实现跳板机SHELL登陆以及SFTP到内网服务器

跳板原理 SSH隧道技术,分别有三种方法实现:本地端口转发、远程端口转发、静态SOCKS代理 XMANAGER——静态SOCKS代理 出于安全考虑,公司的一组应用服务器仅允许特定P远程SSH访问,带来安全防护的同时也增加了进行SSH登录和SFTP上传维护的繁琐,在授权的IP服...

2016-09-05 18:36:59

阅读数:3507

评论数:0

Mybatis JdbcType与Oracle、MySql数据类型对应列表

1. Mybatis JdbcType与Oracle、MySql数据类型对应列表 Mybatis JdbcType Oracle MySql JdbcType ARRAY     JdbcType ...

2016-08-31 11:34:46

阅读数:4159

评论数:0

java Comparable 和Comparator详解及 区别(附代码)

java中,对集合对象或者数组对象排序,有两种实现方式。 即:(1)对象实现Comparable 接口         (2)定义比较器,实现Comparator接口。 下面会简要介绍这两种方法的区别,并附上实现代码,供大家参考。 Comparable介绍 Comparable是...

2016-08-17 15:05:05

阅读数:7161

评论数:2

java mysql 高性能批量处理 设置rewriteBatchedStatements

昨天研究了一下mysql的批处理,最初发现很慢 10000条    每次1000    243秒 50000条    每次500条   1295秒 代码如下:package main; import java.sql.*; public class JdbcStreaming { publ...

2016-08-03 14:40:34

阅读数:6852

评论数:0

spark操作mysql数据库

spark对mysql提供了一些基本的读写操作,今天这边文章主要从读写两个方面来讲。 一、spark读取mysql数据库 1、通过JdbcRdd来读取       首先看一下官方文档是如何介绍的 翻译为: 1、getConnection 返回一个已经打开的结构化数据库连接...

2016-07-18 18:03:18

阅读数:7597

评论数:0

spark函数讲解:aggregate

函数原型: def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U Aggregate the elements of each partition, ...

2016-07-13 18:44:45

阅读数:1590

评论数:0

spark函数讲解:cogroup

cogroup:将多个RDD中同一个Key对应的Value组合到一起。最多可以组合四个RDD 函数原型: def cogroup[W1, W2, W3](other1: RDD[(K, W1)], other2: RDD[(K, W2)], other3: RDD[(K, W3)...

2016-07-13 17:20:05

阅读数:2336

评论数:0

Spark函数讲解:collectAsMap

/** * User: 过往记忆 * Date: 15-03-16 * Time: 上午09:24 * bolg: http://www.iteblog.com * 本文地址:http://www.iteblog.com/archives/1289 * 过往记忆博客,专注于hadoop...

2016-07-13 17:08:19

阅读数:1315

评论数:0

spark性能调优指南(四)(shuffle调优)

shuffle调优 调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行调优。但是也必须提醒大家的是,影响一个Spark作业性能的因素,主要还是代码开...

2016-07-12 18:34:49

阅读数:720

评论数:0

Spark性能优化指南(三)(数据倾斜调优)

数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。 数据倾斜发生时的现象 绝大多数task执行得都非常快,但个别task执行...

2016-07-12 18:11:40

阅读数:677

评论数:0

Spark性能优化指南(二)(资源调优)

本文转自美团技术博客:http://tech.meituan.com/spark-tuning-basic.html 资源调优 调优概述 在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,...

2016-07-12 17:31:32

阅读数:854

评论数:0

Spark性能优化指南(一)(开发调优)

本文转自美团技术博客:http://tech.meituan.com/spark-tuning-basic.html 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算...

2016-07-12 17:28:06

阅读数:662

评论数:0

hive中order by,sort by, distribute by, cluster by作用以及用法

1. order by     Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一...

2016-07-12 17:07:14

阅读数:470

评论数:0

偏差和方差

偏差(Bias):描述的是预测值(估计值)的期望与真实值之间的差距。偏差越大,越偏离真实数据,如下图第二行所示。 方差(Variance):描述的是预测值的变化范围,离散程度,也就是离其期望值的距离。方差越大,数据的分布越分散,如下图右列所示。 下面通过一个故事来讲解: ...

2016-07-12 16:50:28

阅读数:516

评论数:0

java通过JDBC操作mysql数据库

package main; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; import java.util.Arra...

2016-06-21 19:04:13

阅读数:491

评论数:0

CyclicBarrier和CountDownLatch区别

这两天写多线程时,用到了CyclicBarrier,下意识的认为CyclicBarrier和CountDownLatch作用很像,就翻阅资料查了一下,说一下他们的区别吧 CyclicBarrier和CountDownLatch 都位于java.util.concurrent 这个包下 ...

2016-03-18 19:19:10

阅读数:12778

评论数:3

mkdir()和mkdirs()

mkdir() 和mkdirs()都是创建文件夹 mkdir():在某个目录下创建下一级目录,如果上级目录不存在,则创建失败。 mkdirs():如果上级目录不存在,则挨个创建目录 package main.java.file; import java.io.*; public class ...

2016-03-17 18:12:52

阅读数:454

评论数:0

java将控制台信息输出到文件

添加以下代码: import java.io.*; public class IO2File { public static void main(String[] args) throws IOException { File f=new File("out...

2016-03-17 17:11:45

阅读数:8045

评论数:3

保存Log4j日志文件到指定路径

第一种方法: 1、web.xml中添加如下代码: webAppRootKey webapp.root log4jConfigLocation classpath:log4j.properties log4jRefreshInterval 600...

2016-03-17 17:05:23

阅读数:4610

评论数:0

Log4j配置详解

配置文件示例: ### set log levels ### log4j.rootLogger = debug , stdout , D , E ### 输出到控制台 ### log4j.appender.stdout = org.apache.log4j.ConsoleAppender...

2016-03-16 17:42:42

阅读数:511

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭