2015年12月_phantom66

原创 Awesome Hadoop

A curated list of amazingly awesome Hadoop and Hadoop ecosystem resources. Inspired by Awesome PHP, Awesome Python and Awesome SysadminAwesome Hadoop HadoopYARNNoSQLSQL on HadoopData ManagementW

2015-12-26 12:17:59 1670

原创 Awesome PHP

A curated list of amazingly awesome PHP libraries, resources and shiny things.ContributingPlease see CONTRIBUTING for details.Table of ContentsAwesome PHP Dependency ManagementDependency Management

2015-12-26 12:17:10 1670

原创 Awesome Python

A curated list of awesome Python frameworks, libraries and software. Inspired by awesome-php.Awesome Python Environment ManagementPackage ManagementPackage RepositoriesDistributionBuild ToolsInt

2015-12-26 12:16:12 1879

原创 Awesome R

A curated list of awesome R frameworks, packages and software. Inspired by awesome-machine-learning.Awesome R Integrated Development EnvironmentSyntaxData ManipulationGraphic DisplaysHtml Widgets

2015-12-26 12:14:45 1903

原创 sympy官方文档网站无法打开问题解决

最近做一些数值计算, 用到sympy包, 但是在查看官方文档的时候, 发现官方文档网站无法打开. 使用firebug查看文件加载情况, 发现, sympy文档网站中会加载一个在线编辑器工具组件, 而这个在线编辑器组件又会重新加载一个新的组件, 从而出现死循环. 而这个在线编辑器组件的链接又是无法连接的,可能是被墙了. 基于这些原因, 导致了sympy文档无法访问. 为了能够正常访问这个页面,

2015-12-26 12:13:15 1549 1

原创 linux 设置wifi热点

本文以centos7为例, 使用带有无线网卡的笔记本搭建wifi热点.工具/原料有无线网卡、有线网卡的笔记本一台安装Linux操作系统，我使用的是centos7方法/步骤1. 检查确认笔记本网卡支持master模式首先要安装一个iw：yum install iw -y 然后执行命令：iw list 在命令执行结果中如果看到了下面的内容，就说明这张网卡是支持用于ap做路由的Supported

2015-12-20 15:14:40 5714

2009年ACM推荐系统大会上Strand研究人员做了一个报告”推荐系统十堂课”, 在这个报告中Strand的研究人员总结了他们设计推荐系统的经验, 提出了10条在设计推荐系统中学习到的经验和教训:确定你真的需要推荐系统. 推荐系统只有在用户遇到信息过载时才必要. 如果你的网站物品不太多, 或者用户兴趣都比较单一, 那么也许并不需要推荐系统. 所以不要纠结于推荐系统这个词, 不要为了做推荐系统而作

2015-12-20 15:00:12 1403

原创推荐系统常用实验方法和主要测量指标

说明本文介绍评测一个推荐系统常用的实验方法和主要测量指标. 在<<推荐系统技术,评估及高效算法>>第八章有介绍.评测推荐效果的实验方法离线实验往往是从日志系统中取得用户的行为数据，然后将数据集分成训练数据和测试数据，比如80%的训练数据和20%的测试数据（还可以交叉验证），然后在训练数据集上训练用户的兴趣模型，在测试集上进行测试。优点：只需要一个数据集即可，不需要实际的推荐系统（实际的也不可能直

2015-12-20 14:58:55 2193

转载推荐系统中常用的27个评测指标

推荐系统的27个指标评价指标名称符号偏好是否依赖于推荐列表长度备注准确度预测评分准确度平均绝对误差 MAE 小否适用于比较关注精确的预测评分的

2015-12-20 14:57:51 3297

原创 scipy中的包及其作用

scipy有多个子包组成子包名描述cluster聚类算法constants物理和数学上的一些常量fftpack快速傅立叶变化integrate集成和常微分方程的求解interpolate插值和平滑样条函数io输入和输出linalg线性代数ndimage多维图片处理odr正交距离回归optimize优化与根查找signal信号处理sparse稀疏矩阵与相关处理spatial空间

2015-12-20 14:54:41 4020

原创 spark的一些介绍

一、Spark是什么1、与Hadoop的关系如今Hadoop已经不能狭义地称它为软件了，Hadoop广泛的说可以是一套完整的生态系统，可以包括HDFS、Map-Reduce、HBASE、HIVE等等。。而Spark是一个计算框架，注意，是计算框架其可以运行在Hadoop之上，绝大部分情况下是基于HDFS说代替Hadoop其实是代替Hadoop中的Map-Reduce，用来解决Map-Reduce

2015-12-20 14:50:21 739

原创 sklearn常用工具箱使用

一监督学习1.1 逻辑斯蒂回归(Logistic Regression)from sklearn.linear_model import LogisticRegression clf = LogisticRegression() clf = clf.fit(X, y) result = clf.predict_proba(X_test)1.2线性支持向量机(Linear SVM)from s

2015-12-20 14:49:15 1466

原创 linux下jdk安装与配置

说明本文介绍jdk的安装, 虽然网上有很多介绍的文章, 本文还是再重新写一下jdk在linux下的安装过程.准备有一台装有linux的计算机. 在oracle网站上下载jdk的rpm包. 使用ssh将rpm包传输到那台计算机上, 命令是:scp ./jdk.rpm /server/path/to/put/安装安装之前先给安装文件赋予执行的权限, 命令如下:sudo chmod +x jdk.r

2015-12-20 14:47:58 1154

原创 hadoop伪分布的搭建与测试编码

说明本文介绍hadoop伪分布的搭建和配置, 并用于本地测试.准备拥有一台装有linux的计算机这台计算机装有oracle jdk, 并且配置好了jdk 这台电脑安装了ssh, 并且配置好了ssh. 在apache基金会网站上下载hadoop压缩包, 并存放在这台计算机上.安装与配置解压hadoop压缩包, 因为hadoop压缩包使用的tar+gzip, 所以可以直接使用下面命令进行解压:t

2015-12-20 14:47:04 667

原创 hadoop集群搭建与测试编码

说明本文介绍hadoop小集群的搭建.准备十台装有linux的计算机. 这些计算机都装有jdk, 并且准确配置jdk. 这些计算机都装了ssh, 并且都能实现相互之间无密码访问.配置记录各台计算机的ip, 并将其中的一台作为master机, 其他计算机一次标号为slave1, slave2, slave3…slave9. 将ip对应标号的信息添加到/etc/hosts文件中, 格式为:ip1

2015-12-20 14:46:15 1521

原创 hive的安装与简单配置

介绍本文简单介绍安装hive之前的准备, 安装hive时的配置和hive的简单使用, 作为一篇入门级的文章吧.安装前的准备linux的安装hive是运行在hadoop平台上的应用, 因此需要先安装hadoop平台. 虽然, hadoop平台提供windows版本, 但是由于这个版本没有经过严格的测试, 而且这个windows版本是运行在mingw32上面的, mingw32经常会出现一些莫名奇妙

2015-12-20 14:45:21 5777

原创推荐系统的简单分类

为了能够更好的区分推荐系统的类型, 本文根据先人的分类方法, 将推荐系统分为以下几类:1. 基于内容系统为用户推荐与他们过去的兴趣类似的物品. 物品间的相似性是基于被比较的特征来计算的. 例如, 某个用户对一部喜剧电影有了正面的评价, 那么系统就能学会从喜剧类型中为该用户推荐电影.协同过滤这种方法是找到与用户有相同品味的用户, 然后将相似的用户过去喜欢的物品推荐给用户.两用户间的相似偏好是通过计算用

2015-12-20 14:40:55 4079

原创 scrapy源码阅读

scrapy是使用python编写的高性能蜘蛛框架. scrapinghub公司提供了基于云的蜘蛛平台, 也是开源项目scrapy后台支持的公司. scrapy0.2x版本升级到1.x版本时, 将原有的scrapy部署服务拆分为独立的版本scrapyd. 这也是0.24版本和1.x版本不同之处.架构scrapy的架构图如图1所示. 数据流的方向如下:Spiders(蜘蛛)Sche

2015-12-20 14:31:19 3657

phantom66的博客