专注于数据挖掘算法研究和应用

CVTE中央研究院数据挖掘算法团队

Hive时间是String格式截取字串和转换数据类型小贴士

导入hive的时间格式是:2016/8/23 00:00:00 无法直接to_date,只能截取具体子串substr在转换类型到int比较大小。 select count(*) from tmp_fjs_dba where substr(f4,1,9)='2016/8/23' ...

2017-03-31 15:55:38

阅读数:4610

评论数:0

Java读取String分行字符串

1、场景:String字符串中带有分行,需要提取每一行出来处理。 2、参考代码如下: public static void main(String[] args) throws IOException{ String s="1\r\n2\r\n3\r\n \r\nabd\r\n&q...

2017-03-29 16:33:35

阅读数:7015

评论数:0

Java基于FTPClient上传文件到FTP服务器

1、上传文件到FTP服务器,用FTPClient类,引入commons-net-3.1.jar包 2、参考代码: //上传ftp public static boolean uploadFile(String filename) { boolean success = fal...

2017-03-29 16:27:29

阅读数:2421

评论数:0

机器学习知识点(二十)矩阵奇异值分解基础知识及Java实现

1、奇异值分解基础知识 特征值分解提取矩阵特征只适用于方阵,对于N * M的矩阵要用奇异值分解:     假设A是一个N * M的矩阵,奇异值分解得到的U是一个N * N的方阵(里面的向量是正交的,U里面的向量称为左奇异向量),Σ是一个N * M的矩阵(除了对角线的元素都是0,对角线上的元素...

2017-03-29 14:15:16

阅读数:2734

评论数:0

机器学习知识点(十九)矩阵特征值分解基础知识及Java实现

1、特征值基础知识 矩阵乘法Y=AB的数学意义在于变换,以其中一个向量A为中心,则B的作用主要是使A发生伸缩或旋转变换。一个矩阵其实就是一个线性变换,因为一个矩阵乘以一个向量后得到的向量,其实就相当于将这个向量进行了线性变换。 如果说一个向量v是方阵A的特征向量,将一定可以表示成下面的形式: ...

2017-03-29 13:03:37

阅读数:2784

评论数:0

机器学习笔记(十)降维和度量学习

10.降维和度量学习 10.1k近邻学习 k近邻(k-NearestNeighbor,简称kNN)学习是一种常用的监督学习方法,其原理是:给定测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练样本,然后基于这k个邻居的信息来进行预测。在分类任务中,使用投票法,选择k个样本中出现最多的类...

2017-03-29 09:27:47

阅读数:5883

评论数:0

【正一专栏】里皮神奇不再,国足梦断伊朗魔鬼主场

里皮神奇不再,国足梦断伊朗魔鬼主场 在刚刚结束的一场关键的亚洲区12强赛中,中国队客场0:1不敌伊朗队,在魔鬼般的阿扎迪主场中国队没能改写全败的战绩,神奇的里皮教练也不再神奇,中国队在这场比赛失利后,可以断言彻底告别了俄罗斯世界杯。 超级恐怖的魔鬼主场国足胜...

2017-03-29 07:54:36

阅读数:1923

评论数:0

【正一专栏】毛驴怼大巴——大巴是压倒毛驴的最后一根稻草吗?

毛驴怼大巴——大巴是压倒毛驴的最后一根稻草吗? 任何事情都有一个从量变都质变的过程,辱母杀人案一审被判无期的新闻,据不完全统计各大媒体平台的评论超过1亿条,1亿条评论是个什么概念,按照一般消息十比一以上的阅读和评论比,几乎所有上网的网民都对这个案件的一审判决都表示极大了关注,而且...

2017-03-28 08:48:17

阅读数:2313

评论数:0

【正一专栏】没人相信你的时候,就是绝望的开始

没人相信你的时候,就是绝望的开始 九天时空 进入2017年,两会前后发生的种种事情,在今天达到高潮!今天山东冠县的辱母杀人案一审宣判结果引爆了网络,杀人者于欢一审被判无期徒刑。所有人都对这一判决结果感到十分愤怒。政府的公信力丧失殆尽,法律代表不了公平正义,警察维护不了治安,一个...

2017-03-27 08:39:07

阅读数:2131

评论数:0

【正一专栏】战长沙——血性尊严

战长沙——血性尊严 从来没有像今天看国足的比赛一样,觉得拖延时间是一件这么快乐的事情,在比赛的最后时刻,只要韩国队进攻犯规,中国队球员倒在地上,心里就在喊:好,就这样躺着,慢点起来,比赛马上就结束了。在漫长的4分钟补时过后,中国在长沙1:0战胜了夙敌韩国队,取得了本届世界杯预选赛以来的第...

2017-03-24 09:04:42

阅读数:1924

评论数:0

Java运行时动态加载类之ClassLoader加载class及其依赖jar包

需求场景是:通过ClassLoader动态加载外部class文件,class文件又依赖某个具体jar包,需要动态加载jar包,采用URLClassLoader。 1、xml配置文件 ETLEnc.jar say 放在D:\\tmp\\目录下; 2、User.cl...

2017-03-23 12:00:51

阅读数:5698

评论数:0

Java运行时动态加载类之ClassLoader方法带参数

和该文环境一样http://blog.csdn.net/fjssharpsword/article/details/64922083 不同的是,在load出的class调用具体方法时传递参数。 1、User.class代码 package cn.fjs; public class User...

2017-03-23 11:07:37

阅读数:2500

评论数:0

【正一专栏】从报案抓人到下跪道歉,王志伟你还能再无耻些吗?

从报案抓人到下跪道歉,王志伟你还能再无耻些吗?       西安地铁3号线使用不合格电缆消息在持续发酵,到底奥凯电缆公司有何神奇之处,媒体在不断追问,政府也加大排查和处理力度,关乎几个特大城市,上百万人生命安全的地铁线路都有商人敢偷工减料,使用不合格电缆,这个国家还有什么这些唯利是图、利欲熏...

2017-03-23 08:11:47

阅读数:2701

评论数:0

Java运行时动态加载类之ClassLoader

需求场景:动态加载类ClassLoaderd,在xml文件中配置加载类名称和方法,: 一、准备 1)在D:\\tmp\\目录下配置a.xml文件: say add 2)要动态加载的类: package dx; public class map...

2017-03-22 17:13:20

阅读数:4837

评论数:0

Hive表路径修改和分区表数据加载命令

1、对于同一张表,如果不是分区,那要变更数据来源,就只有改变其hdfs存储路径: 修改tmp_fjs_ftp表的location,两种方式: 方式一:通过修改表DDL alter table tmp_fjs_ftp set location 'hdfs://nameservice-ha/tm...

2017-03-22 14:57:45

阅读数:5237

评论数:0

Java运行时动态加载类之Class.forName

需求场景:通过Class.forName加载类并创建实例。 1、接口类: package cn.fjs; public interface IC { public void action(); } 2、实例类: package cn.fjs; public class C impl...

2017-03-22 11:31:26

阅读数:2352

评论数:0

Java运行时动态加载类之URLClassLoader

需求场景:通过URLClassLoader从jar文件中加载类并创建实例,可实现运行时动态加载 1、要加载的jar: 1)接口类IC package cn.fjs; public interface IC { public void action(); } 2)实例类C packa...

2017-03-22 10:48:07

阅读数:2601

评论数:0

【正一专栏】民不畏死、奈何以死惧之

民不畏死、奈何以死惧之     很不想说起房子这两个字,可在中国的当下哪里都离不开房子这个话题。这个周末又看到了这条新闻:南康新闻办通报称,3月17日上午,在南康区十八塘乡樟坊村,该乡人大主席卓某和4名村干部再次来到村民明某某家,做拆除其“空心房”动员工作。卓某遭村民用镰铲袭击身亡。18...

2017-03-22 08:06:34

阅读数:2400

评论数:0

机器学习知识点(十八)密度聚类DBSCAN算法Java实现

为更好理解聚类算法,从网上找现成代码来理解,发现了一个Java自身的ML库,链接:http://java-ml.sourceforge.net/ 有兴趣可以下载来看看源码,理解基础ML算法。对于DBSCAN算法,从网上找到一个Java实现的,主要是用来理解其算法过程。参考代码如下: 1、Poi...

2017-03-20 11:41:28

阅读数:2768

评论数:2

机器学习笔记(九)聚类

9.聚类 有必要回顾下前文所涉及的机器学习主流分类,有监督学习中根据预测结果离散和连续属性分为分类和回归两大类,常见的算法有:线性模型、决策树、神经网络、支持向量机、贝叶斯分类器以及集成学习。 本文开始说无监督学习(unsupervised learning),训练样本的标记信息是未知的,目标是通...

2017-03-20 09:57:06

阅读数:4061

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭