2016年12月_ywill3

原创大数据学习笔记（三）-k-均值聚类&多维缩放找聚类

1.k-均值聚类因为前面的几种求聚类的算法，需要计算两两配对项的关系，在数据集大的时候，速度会很慢。所以我们要学习k-均值聚类算法思想：我们会事先知道需要聚类的数量。这儿假设我们需要n个聚类，那么我们先随机生成n个中心位置。然后利用聚类算法将各个数据项分配给最邻近的中心位置，然后移动中心位置到聚类的平均位置处，然后循环以上步骤，知道分配过程不再变化，那么算法结束。返回n个聚类。具体代码如下#

2016-12-14 21:39:17 5013

原创大数据学习笔记（二）-分级类聚&列类聚

下面用到的数据及代码:click here 1.获取数据：来自100个博客里面的所有文章单词数目，这儿用的rss订阅源对文章数据进行获取，rss获取出来是xml文件格式，所以可以下载一个feedparser来对xml文档进行解析。关于怎么得到每篇博客的每个单词的统计情况，请自行查看generatefeedvector.py文件。不理解的地方欢迎交流。qq:1515435192. 获取后得到的文

2016-12-13 17:20:17 1733

原创 mongodb和redis 的常用指令和python远程连接

一.mongodb 更多指令参见mongodb大全 1.安装mongodbubuntu:apt install mongodbcentos:yum install mongodb启动服务service mongodb start进入mongodb交互mongo [你的ip]2.常用指令我这儿把nosql（非关系型数据库）的collection(聚集集合）看为关系型数据库中的表。（以便于大家

2016-12-12 20:48:33 840

原创 yum 和 rpm 安装软件

1.yumyum check-update -> 检查可以更新的软件包yum update ->更新所有软件包yum install 服务名 [-y] -> 安装软件yum remove 服务名 ->删除服务yum clean packages ->清除缓存中rpm包文件 2.rpm rpm 软件包名类似这样的epel-release-latest-6.noarch.rpm 下面是对于

2016-12-12 11:27:31 449

原创大数据学习笔记（一）-提供推荐

1.获取数据：这儿有一个开源的数据集grouplens 以及集体智慧编程上的数据集。以下是集体智慧编程上的一个关于电影评价的数据集critices={ 'Lisa Rose':{ 'Lady in the Water':2.5,'Snakes on a plane':3.5, 'Just My Luck':3.0,'Superman Returns':3

2016-12-11 11:19:47 832

原创用eclipse远程连接hadoop-2.6.0

所有需要的文件都在这：hadoop 提取码:j6zx 1.下载eclipse(或者用我传的压缩包) 下载解压后将hadoop-eclipse-plugin-2.6.0.jar放在eclipse目录的plugins目录下 2.下载hadoop-2.6.0，并解压 3.将下载下来的bin目录的路径设置一个环境变量新建一个环境变量名为HADOOP_HOME,值为该bin目录的路径

2016-12-05 21:55:33 812 1

转载基于keystone的swift搭建

OpenStack组件Swift单机搭建（基于Keystone）该博客是我们班的张大神写的，在此借用一下。安装环境：Ubuntu 16.04 需要有两块硬盘（一块为系统盘，一块用于安装SWIFT）需要有IP地址环境准备修改hosts文件安装相关服务修改hosts编辑 /etc/hosts，添加IP地址 controller安装Openstack源并更新和安装ap

2016-12-04 09:47:50 1199 1

原创 hadoop 2.6.0完全分布式安装

1.安装安装前准备:装有openssh server的ubuntu14.04 系统三台（也可以准备1台，后面进行虚拟机的克隆，或者导入导出）。这儿需要三台机器在同一个网段内。开始安装1)启动三台虚拟机，分别修改主机名sudo vim /etc/hostname分别命名为： HadoopMaster HadoopSlave1 HadoopSlave2ps:重启后生效2)安装jdk（3台机器一样的

2016-12-03 22:50:45 1107 1

威大爷