漂啊漂

利用spark ml 进行协同过滤推荐

https://spark.apache.org/docs/latest/ spark环境搭建 Spark runs on Java 8+, Python 2.7+/3.4+ and R 3.1+. For the Scala API, Spark 2.3.1 uses Scala 2.11....

2018-09-01 15:54:50

阅读数 726

评论数 0

推荐系统总结

介绍 推荐系统是一种信息过滤系统,用于预测用户对物品的“评分”或“偏好”。 常用的算法如下: 1. 规则模型 (Apriori算法) 2. 协同过滤 (User-based / Item-based) 规则模型(Apriori算法) 找出所有频繁项集,频繁性大于等于最小支持度 ...

2018-07-11 23:33:13

阅读数 3475

评论数 0

多客户端传感器数据采集系统

多客户端传感器数据采集系统GitHub项目地址:https://github.com/LeoCai/Multi-Sensor-DataCollector项目简介 用于多客户端传感器采集和发送; 可用于科研采集数据; 可利用wifi实时传输传感器数据; 支持一个主节点进行蓝牙控制,多个从节点同时开始...

2017-01-02 14:50:23

阅读数 3324

评论数 0

JobHarvest——虚拟机性能监控实例

概述  Jps监控    $ jps -l 6280 sun.tools.jps.Jps 9028 org.jetbrains.jps.cmdline.Launcher 7132 com.intellij.rt.execution.application.AppMain 13684 分析:因为是...

2016-08-07 17:36:29

阅读数 505

评论数 4

JobHarvest——利用springAOP进行运行性能测评(更新中)

测试准备 写了一个简单测试函数耗时的工具类(以后用spring aop代替) public class ProfileUtils { private static Map tempTime = new HashMap<>(); private static Map a...

2016-08-07 15:40:39

阅读数 627

评论数 0

JobHarvest——校招并发爬虫系统(更新中)

就业季到了,现在的校招从7月份就差不多陆续开始了,但很多信息经常受限于地域,学校,很多学生会苦于找不到安全合理的渠道进行内推,网申等。 现在比较靠谱的内推消息一般来自于各大名校的官方bbs,比如北邮人论坛。。。 于是我决定做一个爬虫,专门自动收集各个论坛的就业信息 从没写过爬虫,但对网页html有...

2016-07-29 23:30:19

阅读数 786

评论数 0

基于rsync同步算法的文件同步系统JAVA实现(五)—— 重组数据块

作用: 从服务器端发送回来的未匹配数据报中提取数据,并依据匹配的数组和数据报的编号(均是服务器发送回来)与不完整文件进行重新组合,从而生成完整文件。 基本算法: 用一个currentindex变量记录当前数据块编号, 先读取一块返回的数据块,和它的对应编号index(前一个数据块的编号),如果i...

2013-08-26 23:13:53

阅读数 2104

评论数 0

基于rsync同步算法的文件同步系统JAVA实现(四)——分析并发送不匹配数据块

作用: 利用不完整文件的校验快所构成的哈希表顺序查询完整文件的校验块,从而得出匹配情况,并返回不匹配数据块及其相应编号,当然还有一些控制信息。由于该过程比较复杂,所以最好设计一个数据报,便于客户端分析和重组文件。 数据报格式: 字段: IndexFlag(1字节) Index(4字...

2013-08-25 15:56:49

阅读数 1556

评论数 0

基于rsync同步算法的文件同步系统JAVA实现(三)——校验码哈希表的建立

作用: 通过建立不完整文件的校验块构成的哈希表,快速检查完整文件的数据块的匹配情况,并返回校验快的编号。 基本结构: 以二维数组为容器,以滚动校验为哈希索引,以md4校验码值为值。 另外增加一个二维数组来记录校验块的编号(用于重组)。 注意点: 哈希索引冲突时,跟在当前索引的数组队列...

2013-08-24 13:53:39

阅读数 1710

评论数 1

基于rsync同步算法的文件同步系统JAVA实现(二)——校验码的生成

作用: 分析过程需要不完整文件各个数据块的两种校验:滚动校验和md4校验,先对完整文件的各个分块依次进行滚动校验,若相同再进行md4校验,若再次相同说明数据块匹配,否则不匹配,在文件中向后移动一个字节形成的新分块进行校验(利用滚动校验的特性可以很快完成)。 核心算法1-滚动校验: 弱校验,优点是速...

2013-08-23 21:07:00

阅读数 1872

评论数 1

基于rsync同步算法的文件同步系统JAVA实现(一)——项目介绍

项目主要功能: 用java实现的类似rsync项目的文件同步:A拥有不完整文件file_half,B拥有完整文件file_total,A向B发送不完整文件的校验码信息,B利用完整文件进行分析后返回差异数据块,A收到差异数据块后与不完整文件file_half进行重组形成完整文件file_total_...

2013-08-22 22:44:12

阅读数 6373

评论数 8

推荐系统中的用户冷启动问题

问题 在推荐系统中,新用户进入系统,缺乏用户行为特征,无法准确地用常用的CF等方法进行推荐。 方案 利用用户注册信息 人口统计学信息: 年龄 性别 职业 名族 学历 居住地: 计算离线相关表(按照一定权重相加,或者) 给用户推荐热门物品并不是推荐系统的主要任 务,推荐系统应...

2018-09-05 23:30:52

阅读数 998

评论数 0

tensorflow wide and deep 模型实践

tensorflow 环境搭建 wide and deep demo wide and deep 介绍 https://github.com/tensorflow/models/tree/master/official/wide_deep https://ai.googleblog...

2018-09-01 21:40:13

阅读数 795

评论数 0

工作一年小结

2018.8.31日,领完离职证明,坐上公交车的我有点茫然-我从蚂蚁离职了。 2016年秋天,收到蚂蚁金服的offer的我应该很开心。 然而,2017.6.27日到2018.8.31日,在蚂蚁待了一年之后,我选择辞职。是我从阿里毕业了吗?不,我还远远没有达到毕业的水平,却更像是一种辍学。 为...

2018-09-01 01:26:32

阅读数 297

评论数 1

FastText算法调研

介绍 词向量表示和每个n-gram相关联;单词用这些向量的和表示。这个方法很快,能够在大的语料库计算词语呈现,并且允许没有在训练库中出现的词语。 大多数现有的方法用一个唯一的向量表示,且参数不共享,忽略了词语内部的结构,这对那些多种形态的语言有很大限制。 因为许多单词形式如下规则,可以改进矢...

2018-07-29 19:16:34

阅读数 471

评论数 2

SVM学习总结

介绍 在机器学习中,支持向量机(英语:support vector machine,常简称为SVM,又名支持向量网络[1])是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例,每个训练实例被标记为属于两个类别中的一个或另一个,SVM训练算法创建一个将新的实例分配给两个...

2018-07-17 01:11:06

阅读数 406

评论数 0

常见集成模型总结

简介 Bagging, Boosting 和 Stacking Bagging(Bootstrap汇总)是一种集成方法。首先,我们创建随机训练数据集样本(训练数据集的子集)。然后我们为每个样本建立分类器。最后,这些多分类器的结果将结合起来,使用平均或多数投票。Bagging有助于降低方差。 ...

2018-07-16 22:56:08

阅读数 2021

评论数 1

天池大数据比赛-天体分类总结

赛题介绍 比赛链接: https://tianchi.aliyun.com/competition/introduction.htm?spm=5176.100150.711.8.5f712784mldsqp&amp;amp;amp;amp;raceId=231646 在天文学中,光谱...

2018-07-15 23:02:40

阅读数 5501

评论数 0

Linux IO模式及 select、poll、epoll详解

转自:https://segmentfault.com/a/1190000003063859 同步IO和异步IO,阻塞IO和非阻塞IO分别是什么,到底有什么区别?不同的人在不同的上下文下给出的答案是不同的。所以先限定一下本文的上下文。 本文讨论的背景是Linux环境下的network IO。 ...

2016-07-25 12:55:48

阅读数 245

评论数 0

SpringMVC学习笔记

转自:http://www.cnblogs.com/sunniest/p/4555801.html SpringMVC学习笔记---- 一、SpringMVC基础入门,创建一个HelloWorld程序 1.首先,导入SpringMVC需要的jar包。 2.添加Web...

2016-07-21 09:25:29

阅读数 251

评论数 0

提示
确定要删除当前文章?
取消 删除