![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop+MapReduce
文章平均质量分 67
关山难越_谁悲失路之人
这个作者很懒,什么都没留下…
展开
-
Linux:CentOS安装包+VMware安装包+Linux连接工具(xmanager)+Hadoop安装包+Eclipse Hadoop插件及Eclipse软件+相关工程:
1. 机器准备: CPU:2核4线程;内存:8G+;硬盘:50G+空闲; 2. 课程需要软件,请提前下载或安装: 1)CentOS安装包(选择下列任一下载即可):http://ftp.sjtu.edu.cn/centos/6.8/isos/x86_64/CentOS-6.8-x86_64-bin-DVD1.iso http://mirrors原创 2016-12-13 14:05:36 · 538 阅读 · 0 评论 -
如何配置Hadoop集群?(图片待补充)
一、 设置固定ip(1) 重启服务命令:service networkrestart(2) 进入 /etc/sysconfig/network-scripts,修改ifcfg-eth0文件命令:cd /etc/sysconfig/network-scriptsvi ifcfg-eth0文件修改如下:DEVICE=eth0HWADDR=00:0C原创 2016-12-13 14:10:04 · 397 阅读 · 0 评论 -
hadoop出错后如何查看logs 然后格式化
cd $HADOOP_HOME sbin/start-dfs.sh jpscd /data/cd cd $HADOOP_HOME lscd $HADOOP_HOMElscd logs/ls cat hadoop-root-namenode-master.centos.com.log tail -n 500 hadoop-root-namenode-ma原创 2016-12-13 16:40:30 · 1507 阅读 · 0 评论 -
IDEA+MR实现ALS
1.环境导入spark-1.4.1-bin-hadoop2.6压缩包lib目录下的spark-assembly-1.4.1-hadoop2.6.02.IDEA代码package demoimport org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.mllib.recommenda原创 2016-12-13 16:42:29 · 691 阅读 · 0 评论 -
flume流(三)如何用flume流从本地传输文件到hdfs?
flume流有三篇文章一、flume流是什么?.properties文件内部应该怎么写?二、如何在hadoop集群中安装flume流?三、如何用流从本地传输文件到hdfs??本篇讲解如何用流从本地传输文件到hdfs??1.新建/flume_data目录,在该目录下新建名为2014的文件夹,将law_utf8.csv文件放入flume_demo中,与2014文原创 2016-12-24 18:06:35 · 1998 阅读 · 0 评论 -
基于Spark MLlib平台和基于模型的协同过滤算法的电影推荐系统(一) 协同过滤算法概述&&基于模型的协同过滤的算法思想(算法模型和结构待补充)
本文基于Spark MLlib平台实现一个向用户推荐电影的简单应用。其中,主要包括三部分内容:一、协同过滤算法概述二、基于模型的协同过滤应用---电影推荐三、实时推荐架构分析一、协同过滤算法概述 关于协同过滤的一个最经典的例子就是看电影,有时候不知道哪一部电影是我们喜欢的或者评分比较高的,那么通常的做法就是问问周围的朋友,看看最近有什么好的电原创 2016-12-24 16:53:02 · 2244 阅读 · 0 评论