sperospera的博客

bigdata java scala

java实现Unicode编码和可读字符互转

实现Unicode编码与可读字符的转换。 今天遇到的错误提示,提示全是Unicode编码,写了一段代码将错误提示转为可读。 测试结果如下: package com.demo; import java.io.UnsupportedEncodingException; public class ...

2019-04-17 14:08:01

阅读数 20

评论数 0

Scala implicit 隐式转换总结

在Scala中implicit 转换有三种: 1.隐式参数与隐式值 package com.demo object ImplicitPram { //在作用域内,只能指定一个同类型的隐式参数。 implicit val a = 100 /** * 在参数前加上implici...

2019-04-16 22:40:23

阅读数 20

评论数 0

设计模式之单例模式

单例模式 单例模式是一种简单的模式: 1、 确保一个类,只有一个实例。 2、构造器私有化。 单例模式的优点: 1.单例模式只有一个实例,可以减少内存开支。 2.当创建实例时,需要较多的系统资源时,使用单例模式,只产生一个实例,可以降低系统资源开销, 3.只有一个实例,可以避免对资源的多重占用。 4...

2019-04-12 14:01:08

阅读数 21

评论数 0

Spark SQL Join类型

Spark SQL join工作是通过使用executors 操作DataFrame的多个分区,具体的过程和性能依赖join type和datasets的特征。join的过程中,包含了shuffle join 和broadcast join; 在两个大的datasets join的过程中,进行了...

2019-04-12 00:24:37

阅读数 27

评论数 0

java 实现归并排序

归并排序(MERGE-SORT)是建立在归并操作上的一种有效的排序算法,该算法是采用分治法(Divide and Conquer)的一个非常典型的应用。将已有序的子序列合并,得到完全有序的序列;即先使每个子序列有序,再使子序列段间有序。若将两个有序表合并成一个有序表,称为二路归并。 速度仅次于快...

2019-04-11 23:14:04

阅读数 22

评论数 0

MySQL实现pivot行转列

1.创建表: Create Table CREATETABLE`pivot`( `id`int(11)NOTNULLAUTO_INCREMENT, `salary`doubleNOTNULL, `year`varchar(4)NOTNULL, `name`va...

2019-04-11 00:28:43

阅读数 42

评论数 0

快速排序Java实现

要排序的数组是A[0]……A[N-1],首先任意选取一个数据(通常选用数组的第一个数)作为关键数据,然后将所有比它小的数都放到它左边,所有比它大的数都放到它右边,这个过程称为一趟快速排序。值得注意的是,快速排序不是一种稳定的排序算法,也就是说,多个相同的值的相对位置也许会在算法结束时产生变动。 ...

2019-04-10 23:07:42

阅读数 15

评论数 0

Spark中的groupByKey,reduceByKey,combineBykey,和aggregateByKey的比较和区别

groupByKey 按照key进行分组,得到相同key的值的sequence,可以通过自定义partitioner,完成分区,默认情况下使用的是HashPartitioner,分组后的元素的顺序不能保证,可能每一次的执行得到的结果都不相同。所有的数据需要进行shuffler,消耗资源。key-v...

2019-04-09 23:14:42

阅读数 32

评论数 0

HBASE架构总结

1.Client 包含访问HBase的接口并维护cache来加快对HBase的访问 2.Zookeeper 保证任何时候,集群中只有一个活跃master;存贮所有Region的寻址入口;实时监控Region server的上线和下线信息,并实时通知Master;存储HBase的schema和ta...

2019-04-09 22:08:05

阅读数 1113

评论数 0

Web 项目sql 配置遇到的异常

1.Could not find the main class ,program will exit 。出现此问题时,可能是sql 配置文件,路径不对,先检查路径是否如下配置src/jdbc.properties。如正确配置路径,未解决问题,然后再查看jre,和build path,配置正确的版本...

2019-01-14 19:53:05

阅读数 46

评论数 0

windows 查看端口

1. netstat -ano 查看所有的端口占用信息。 2. netstat -aon|findstr "8090" 查看指定的端口号,如8090 3. tasklist|findstr "3184"  根据pi...

2019-01-10 13:12:15

阅读数 40

评论数 0

mysql 连接出现时间错误

Exception in thread "main" java.sql.SQLException: The server time zone value '???ú±ê×??±??' is unrecognized or represents more than...

2019-01-02 18:12:36

阅读数 28

评论数 0

Python添加默认模块搜索路径

一:用函数添加用户路径 1 import sys 2添加sys.path.append("d:\\python\\module") 二:修改系统环境变量 用户可以修改系统环境变量PYTHONPATH 三:在Python安装路径中...

2016-08-30 14:45:37

阅读数 590

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭