2016年06月_搜索与推荐Wiki

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

转载利用采样器实现mapreduce任务输出全排序

采样器是hadoop内自带的一个可以对目标文件部分数据进行提取的工具类,以方便我们对这些采样的数据做一些参考或者处理。hadoop提供了多种采样器供我们使用，以满足不同的需求。另外，采样器不同于普通mapreduce操作。它是直接在客户端机器上运行的。常见采样器IntervalSampler 以一定的间隔定期从划分中选择key，对有排序的数据来说更好RandomSame

2016-06-26 11:50:43 3166

原创 hadoop中NameNode、DataNode、Secondary、NameNode、ResourceManager、NodeManager 介绍

1：NameNode2：SecondNameNode3：DataNode4：ResourceManage1、NameNode介绍 Namenode 管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件有两个，分别是Namespace 镜像

2016-06-25 17:40:05 27601 7

原创 Hive的数据类型解析和表的操作实例

一：Hive中的数据类型Hive支持两种数据类型，一类叫原子数据类型，一类叫复杂数据类型。　　原子数据类型包括数值型、布尔型和字符串类型，具体如下表所示：基本数据类型类型描述示例TINYINT1个字节（8位）有符号整数1SMALLINT2字节（16位）

2016-06-21 20:00:39 9410

原创 Spark RDD编程（Python和Scala版本）

Spark中的RDD就是一个不可变的分布式对象集合，是一种具有兼容性的基于内存的集群计算抽象方法，Spark则是这个方法的抽象。 Spark的RDD操作分和为转化操作（transformation）和行动操作（action），两者的区别在于：转化操作返回一个新的RDD对象行动操作则会对RDD产生一个计算结果，并把结果返回到驱动器

2016-06-18 11:08:15 10522 2

原创 Spark 的 Shell操作，核心概念，构建独立应用

1：Spark中的Python和Scala的shell2：Spark核心概念简介3：独立应用4：Spark数据集一：Spark中的Python 和Scala 的shell 1：shell设置显示日志进入Spark的安装目录，启动spark的集群，输入bin/pyspark，但此时会伴有大量的日志信息，在这里想要缩减启动信息

2016-06-17 19:53:33 3946

原创《推荐系统》基于图的推荐算法

1：概述2：原理简介3：代码实现一：概述基于图的模型（graph-based model）是推荐系统中的重要内容。其实，很多研究人员把基于邻域的模型也称为基于图的模型，因为可以把基于邻域的模型看做基于图的模型的简单形式在研究基于图的模型之前，首先需要将用户的行为数据，表示成图的形式，下面我们讨论的用户行为数据是用二元数组组成的，其中每个二元组

2016-06-16 20:57:32 20864 8

原创《推荐系统》基于标签的用户推荐系统

打开微信扫一扫，关注微信公众号【搜索与推荐Wiki】转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkg...

2016-06-16 11:17:30 41926 15

原创 Spark的伪分布安装和wordcount测试

一：环境说明 Ubuntu：15.10（不稳定版，建议安装在稳定版，Ubuntu下XX..4是稳定的） Hadoop：2.6 Scala：2.11.8 Java：1.7.0 Spark：1.6.12：hadoop伪分布安装

2016-06-11 22:31:04 4993

原创《Hadoop进阶》利用Hadoop构建豆瓣图书推荐系统

转载请注明出处：转载自 Thinkgamer的CSDN博客：blog.csdn.net/gamer_gyt代码下载地址：点击查看1：推荐系统概述2：需求分析：推荐系统的指标设计3：算法模型：基于物品的协同过滤并行算法设计4：架构设计：推荐系统架构5：程序实现：MR2V程序实现6：推荐系统评估一、推荐

2016-06-11 11:32:56 20304 25

grafana-6.3.3-1 rpm安装包.zip

grafana-6.3.3-1.x86_64.rpm 安装包，

2020-04-09

word2vec.zip

word2vec 官方资源未修改版和malloc函数替换版，官方源码需要科学上网才能获取，这里进行提供，同时mac os系统下需要修改malloc函数方可使用，这里也提供一份修改后的

2019-11-13

自然语言处理大体是从1950年代开始，虽然更早期也有作为。1950年，图灵发表论文“计算机器与智能”，提出现在所谓的“图灵测试”作为判断智能的条件。 1954年的乔治城实验涉及全部自动翻译超过60句俄文成为英文。研究人员声称三到五年之内即可解决机器翻译的问题。[1]不过实际进展远低于预期，1966年的ALPAC报告发现十年研究未达预期目标，机器翻译的研究经费遭到大幅削减。一直到1980年代末期，统计机器翻译系统发展出来，机器翻译的研究才得以更上一层楼。 1960年代发展特别成功的NLP系统包括SHRDLU——一个词汇设限、运作于受限如“积木世界”的一种自然语言系统，以及1964-1966年约瑟夫·维森鲍姆模拟“个人中心治疗”而设计的ELIZA——几乎未运用人类思想和感情的讯息，有时候却能呈现令人讶异地类似人之间的互动。“病人”提出的问题超出ELIZA 极小的知识范围之时，可能会得到空泛的回答。例如问题是“我的头痛”，回答是“为什么说你头痛？

2018-06-15

一种人脸表情分类的新方法_Manhattan距离

一种人脸表情分类的新方法_Manhattan距离_李俊华.pdf

2017-07-15

gephi-0.9.1-windows.exe

2017-02-14

mysql-connector-java-5.0.4-bin.jar

2017-02-14

commons-el-1.0.jar，jasper-compiler.jar，jasper-runtime.jar

2016-07-28

delicious.dat

经过预处理的。数据格式 [ USER_ID , URL_ID , Tags ] 。

2016-06-16

kosarak.dat

FP_Tree算法构建新闻点击流的数据集

2016-05-09

从疝气病症预测病马的死亡率的测试数据集

2016-04-25

从疝气病症预测病马的死亡率的训练数据集

从疝气病症预测病马的死亡率的训练数据集，机器学习实战第五章logistic回归实例数据

2016-04-25

hadoop-eclipse-plugin-2.6.0.jar

2015-08-02

lucene4.3.0+IK Analyzer2012FF

2015-07-31

IKAnalyzer_all_jar

IKAnalyzer_all_jar,适用于中文分词（Java和mapreduce）

2015-07-31

十大算法之线性查找算法

算法步骤： 1. 将n个元素每5个一组，分成n/5(上界)组。 2. 取出每一组的中位数，任意排序方法，比如插入排序。 3. 递归的调用selection算法查找上一步中所有中位数的中位数，设为x，偶数个中位数的情况下设定为选取中间小的一个。 4. 用x来分割数组，设小于等于x的个数为k，大于x的个数即为n-k。 5. 若i==k，返回x；若ik，在大于x的元素中递归查找第i-k小的元素。终止条件：n=1时，返回的即是i小元素。

2015-07-29

高精度的加减乘除

高精度对于初学者来说并不是容易的，所以小编在这里这里整理了高精度的加减乘除运算，在一个程序中实现，希望对各位童鞋有所帮助

2014-08-23

securboot未完全配置消除补丁

在我们新安装windows系统后在桌面右下角会出现securboot未完全配置消除补丁这些字，若在BIOS中设置的话对电脑某些功能有影响（如电脑装有双系统，另一个系统进不去，或者电脑不能正常开机），此时就需要这样一个补丁来解决这个问题