2017年03月_Yaphat

原创 German Credit Risk(德国信用卡违约分析)

数据信息先看下数据格式：总共有20个属性，1个类别特征。信息如下：Attribute 1: (qualitative) Status of existing checking account A11 : … < 0 DM A12 : 0 <= … < 200 DM A13 : … >= 200 DM / salary assignments for at least 1 year

2017-03-29 22:44:46 10692 4

原创 Spark MLlib Python Notebook配置

在Spark上使用pySpark shell很麻烦，只能在命令行中输入。除了可以用spark submit提交应用外，也可以用jupter notebook。运行ipython打开notebook$ jupyter notebook初始化 pysparkimport osexecfile(os.path.join(os.environ["SPARK_HOME"], 'python/pyspark/

2017-03-29 14:48:27 1369

原创 Java常见面试题

1、Hashtable和HashMap的区别 Hashtable是线程安全的，HashMap不是线程安全的。即Hashtable的方法是Synchronize的，而HashMap不是。由于非线程安全，HashMap效率上比Hashtable高一点。 HashMap允许null健值，而HashMap不允许。 2、待填

2017-03-17 21:34:26 401

原创海量数据常见面试题

待填

2017-03-17 21:28:37 704

原创递归

对递归程序一直是一知半解，对于简单的递归程序，我大致能弄懂整个流程，但是复杂点的递归程序（比如说树的各种递归）就一头雾水。今天在看知乎时，看到一个非常不错的建议。大致如下。写递归函数要处理好递归的3个主要点： a) 出口条件，即递归通常什么时候结束，这个通常在递归函数的开始就写好； b) 如何由”情况 n” 变化到”情况 n+1”, 也就是非出口情况，也就是一般情况——”正在”递归中的情况；

2017-03-10 16:31:46 699

原创 SMOTE相关论文

Borderline-SMOTE：Borderline-SMOTE: A New Over-Sampling Method in Imbalanced Data Sets Learningmotivation：有些样本远离边界，所以对分类没有多大帮助，可以强化边界点。思路：将少数类样本根据距离多数类样本的距离分为noise,safe,danger三类样本集，只对danger中的样本集合使用smot

2017-03-04 21:11:54 9015 29

原创 equals()和hashcode()

Java对象的eqauls方法和hashCode方法是这样规定的：1、相等（相同）的对象必须具有相等的哈希码（或者散列码）。为什么？想象一下，假如两个Java对象A和B，A和B相等（eqauls结果为true），但A和B的哈希码不同，则A和B存入HashMap时的哈希码计算得到的HashMap内部数组位置索引可能不同，那么A和B很有可能允许同时存入HashMap，显然相等/相同的元素是不允许同时存入

2017-03-04 20:30:35 463

Yaphat的博客