Linux
文章平均质量分 63
关山难越_谁悲失路之人
这个作者很懒,什么都没留下…
展开
-
Linux:CentOS安装包+VMware安装包+Linux连接工具(xmanager)+Hadoop安装包+Eclipse Hadoop插件及Eclipse软件+相关工程:
1. 机器准备: CPU:2核4线程;内存:8G+;硬盘:50G+空闲; 2. 课程需要软件,请提前下载或安装: 1)CentOS安装包(选择下列任一下载即可):http://ftp.sjtu.edu.cn/centos/6.8/isos/x86_64/CentOS-6.8-x86_64-bin-DVD1.iso http://mirrors原创 2016-12-13 14:05:36 · 569 阅读 · 0 评论 -
基于Spark MLlib平台和基于模型的协同过滤算法的电影推荐系统(二)代码实现
上接基于Spark MLlib平台和基于模型的协同过滤算法的电影推荐系统(一)1. 设置不打印一堆INFO信息(减少打印量 保证Shell页面清晰干净) sc.setLogLevel("WARN")2. 导入相关recommendation包中相关类,加载数据,并解析到RDD【Rating】对象①导入相关recommendation包,原创 2016-12-24 21:15:43 · 2072 阅读 · 0 评论 -
基于Spark MLlib平台和基于模型的协同过滤算法的电影推荐系统(三) 作业里的拓展
20161205spark第四次作业使用Spark ALS explicit训练,得到模型,并进行评价;要求:1. 代码(只需要保留评价代码,建模代码,数据分割代码即可);2. 相关图表(建模截图(包含参数)、评价截图、不同k值precesion、recall表格及图);3. 测试数据集保留不超过10个用户即可;4. 不同模型对比(1,2,3再做一遍,对比,可选)原创 2016-12-24 21:21:32 · 1733 阅读 · 0 评论 -
基于Spark MLlib平台和基于模型的协同过滤算法的电影推荐系统(一) 协同过滤算法概述&&基于模型的协同过滤的算法思想(算法模型和结构待补充)
本文基于Spark MLlib平台实现一个向用户推荐电影的简单应用。其中,主要包括三部分内容:一、协同过滤算法概述二、基于模型的协同过滤应用---电影推荐三、实时推荐架构分析一、协同过滤算法概述 关于协同过滤的一个最经典的例子就是看电影,有时候不知道哪一部电影是我们喜欢的或者评分比较高的,那么通常的做法就是问问周围的朋友,看看最近有什么好的电原创 2016-12-24 16:53:02 · 2264 阅读 · 0 评论 -
flume流(三)如何用flume流从本地传输文件到hdfs?
flume流有三篇文章一、flume流是什么?.properties文件内部应该怎么写?二、如何在hadoop集群中安装flume流?三、如何用流从本地传输文件到hdfs??本篇讲解如何用流从本地传输文件到hdfs??1.新建/flume_data目录,在该目录下新建名为2014的文件夹,将law_utf8.csv文件放入flume_demo中,与2014文原创 2016-12-24 18:06:35 · 2034 阅读 · 0 评论 -
flume流(二)如何在hadoop集群中安装flume流?(待补充图片)
二、如何在hadoop集群中安装flume流?1)将下载的flume包上传到/usr/local,解压到/usr/local目录中tar –zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/localls后看到apache-flume-1.6.0-bin2)修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置原创 2016-12-24 21:09:39 · 616 阅读 · 0 评论 -
法律网推荐(二) 用Pig进行数据预处理
上接法律网推荐(一) 用Hive进行数据探索分析 3)数据预处理 1. 数据清洗 2. 数据变换 3. 属性规约通过上述网址类型分布分析,后续分析中,选取其中占比最多的两类(咨询内容页、知识内容页)进行模型分析。可以发现一些与分析目标无关的数据清洗规则:实验内容:数据清原创 2016-12-24 21:06:00 · 1044 阅读 · 0 评论 -
inux安装Mysql步骤+Navicat Premiun连接虚拟机mysql+mysql常用命令集+mysql常用操作
一、Linux安装Mysql步骤:1.yum install -y mysql-server mysql mysql-devel 安装mysql2.service mysqld start 启动mysql3.mysqladmin -u root password 'root' 设置MySQL用户名和密码4.mysql -uroot -p 登录MySQL原创 2016-12-13 14:33:08 · 554 阅读 · 0 评论 -
如何在Linux中安装Mysql?
Linux安装Mysql:方式一,在线安装:1)yum search mysql2) yum install mysql-server.x86_64 -y方式二,离线安装:1)下载MySQL-server-5.6.28-1.el6.x86_64.rpm,MySQL-client-5.6.28-1.el6.x86_64.rpm,MySQL-devel-5.6.原创 2016-12-13 14:31:58 · 315 阅读 · 0 评论 -
Linux操作练习 demo
201311639李爽2016/9/6 中作业Linux1.进入/tmp目录,创建mytest目录,在其下创建两个目录dir1,dir2;$cd /tmp$mkdir mytest$cd /tmp/mytest$mkdir dir1 dir2$ls2.把/etc/passwd文件拷贝到/tmp/mytest目录中,再次拷贝使用-i选项看是否会有提示;原创 2016-12-13 14:29:17 · 2821 阅读 · 0 评论 -
????待完善 找不到题目要求了
要求按一下步骤执行:操作命令如下:1.cd /tmp;mkdir vitest;2.cd vitest;3.cp/etc/man.config .;4.vi man.config;5.:set nu;6.58G;40l; 双引号中看到的是"/dir/bin/foo"7. gg /bzip2 答原创 2016-12-13 14:26:02 · 252 阅读 · 0 评论 -
Linux操作练习 demo(待完善)
head -n -2 lishuang.txt |tail -n +5第一步是把无关文字全掉sort -n -k 2 -t ‘ ’ lishuangshuang.txt以第二列排序-r反序原创 2016-12-13 14:25:24 · 247 阅读 · 0 评论 -
请执行命令取出linux中eth0的IP地址
2016/9/6作业1.昨天交的作业:ifconfig eth0|grep "inet addr"|awk '{print $2}'|awk-F:'{print $2}'shell命令获取linux下eth0的IP地址,用到的命令有ifconfig、awk、grep。2.网上找到的更全的!!!简直感动!!!请执行命令取出linux中eth0的IP地址原创 2016-12-13 14:24:08 · 2221 阅读 · 0 评论 -
Shell启动时可添加的可爱图案~
( ) (@@) ( ) (@) () @@ O @ O @ (@@@) ( ) (@@@@) ( ) ==== ________ _____原创 2016-12-13 14:21:24 · 1123 阅读 · 0 评论 -
Linux操作小练习 demo
3. 完成1. 使用root用户建立/tmp/test目录;su rootmkdir /tmp/test2. 使用tom用户进入/tmp/test目录,并在其下建立文件夹{a~z}{1~100};su tomcd /tmp/testmkdir {a~z}{1~100}如果建立不了,则把/tmp/test的所属用户及用户组改为tom;3. /t原创 2016-12-13 14:18:44 · 514 阅读 · 0 评论 -
如何在虚拟机中直接设置固定ip?
2. 如何使用shell命令直接设置固定ip? 包含shell脚本代码,以及运行情况截图,word文档;1)怎么设置固定ip;2)shell参数获取,字符串写入配置文件;-----------------------------------------------------------------------------------------1. 进入IP配置原创 2016-12-13 14:17:08 · 883 阅读 · 0 评论 -
如何在虚拟机中配置HTTP yum 源?
1. 如何配置HTTP yum 源? 写配置步骤、及最后的配置结果,截图,word文档 1)配置 apache http服务器; 2)配置http yum 源,需要挂载在apache http服务器上;--------------------------------------------------------------------------------原创 2016-12-13 14:15:41 · 513 阅读 · 0 评论 -
我的小锦囊之Hadoop集群的启动命令以及经常遇到的小问题
每天启动Hadoop集群时都会打开这份txt文档,现在看来觉得这份文档才是精髓,看一眼,就能理一遍思路。如下的命令中,有启动Hadoop集群的,zookeeper集群的,hbase的,启动spark的,当然还有像Pig、Hive这些,直接输入就能进入。总之,如果没有下面这个文档,每天遇到一些问题可能会毛手毛脚,甚至可能因为睡得懵懵的而忘了启动路径....1.启动hadoop集群原创 2016-12-29 09:30:51 · 844 阅读 · 0 评论