hadoop
关注
分享
扫一扫
文章平均质量分 81
jy02268879
这个作者很懒，什么都没留下…
展开
-
【一】hadoop单机版安装及运行wordcount
环境ubuntu16.041.更新aptsudo apt-get update2.确保已安装JAVA如果没有请看安装步骤：Linux安装JAVA确保已安装SSH如果没有请看安装步骤：安装SSH确保已配置SSH免密码登录如果没有请看配置步骤：SSH免密码登录这里单机则是：将A公钥添加到A认证文件中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_ke...原创 2018-03-23 17:24:47 · 2044 阅读 · 2 评论 -
【八】hadoop编程之基于用户的协同过滤推荐算法UserCF
基于用户的协同过滤推荐算法UserCF：给用户推荐和他兴趣相似的其他用户喜欢的物品模拟情景用户 A B C D E F商品 1 2 3 4 5 6行为 点击 1.0分 搜索 2.0分 收藏 5.0分 付款 10.0分用户行为列表如下用户 物品 行为A 1...原创 2018-06-01 23:12:43 · 2375 阅读 · 1 评论 -
【十一】storm+HDFS集成(hdfs HA)
官网简介storm的组件可以和HDFS系统进行交互。使用：以下例子用竖线 | 作为分隔符，把文件写到HDFS的路径上去，一次同步每一千个tuple.每5MB滚动一次文件。先在HDFS上创建路径hadoop fs -mkdir /storm_write_hdfs设置路径权限hadoop fs -chmod -R 777 /storm_write_hdfspom...原创 2018-08-02 02:29:45 · 624 阅读 · 0 评论 -
【一】hive安装(远程metastore)
前期：请先安装jdk和hadoop和mysqljdk安装hadoop分布式安装mysql安装环境ubuntu16.04下载http://mirrors.tuna.tsinghua.edu.cn/apache/hive/rz上传安装包到服务器解压tar -zxvf apache-hive-2.3.3-bin.tar.gz修改名字文件名字mv apa...原创 2018-06-05 00:53:01 · 1021 阅读 · 0 评论 -
【八】基于hadoop实现RPC代码演示
项目结构 maven<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org...原创 2018-06-11 15:57:30 · 205 阅读 · 0 评论 -
【十】hadoop理论
官网概述Hadoop是一个分布式系统基础架构，由Apache基金会开发，用户可以在不了解分布式底层细节的情况下，开发分布式应用程序。充分利用集群的威力来高速运算或存储。它是一个高可靠、高扩展、分布式计算的开源软件。HDFSHDFS是一个有高吞吐能力的分布式文件系统。源自Google的GFS的论文，是GFS的开源克隆版本。架构HDFS是一个master/slave的架构。...原创 2018-08-15 21:41:51 · 306 阅读 · 0 评论 -
【七】hadoop编程之基于物品的协同过滤推荐算法ItemCF
基于物品的协同过滤推荐算法：给用户推荐一些他们以前感兴趣的物品相似的物品模拟情景用户 A B C 商品 1 2 3 4 5 6行为 点击 1.0分 搜索 2.0分 收藏 5.0分 付款 10.0分用户行为列表如下用户 物品 行为A 1 点击C ...原创 2018-06-01 16:11:06 · 1537 阅读 · 1 评论 -
【六】hadoop编程之使用分布式缓存做矩阵相乘
1.上传输入文件到HDFS中右侧矩阵1 1_0,2_5,3_-1,4_3,5_-32 1_1,2_7,3_2,4_-2,5_-23 1_2,2_0,3_5,4_-1,5_34 1_-2,2_4,3_-1,4_1,5_1左侧矩阵1 1_1,2_2,3_3,4_02 1_3,2_3,3_4,4_-43 1_-2,2_0,3_1,4_34 1_4,2_3,3_-1,4_25 1_-4,2_...原创 2018-05-18 23:32:19 · 402 阅读 · 0 评论 -
【五】win10下Eclipse配置hadoop-eclipse-plugin 插件
环境win10hadoop2.9.0前期准备已安装eclipsewin10中已经解压hadoop2.9.0的安装包已有插件JAR包：hadoop-eclipse-plugin-2.9.0.jar下载不到，或者用不了，请参照该连接的内容编译jar包hadoop-eclipse编译对应版本的插件1.把hadoop-eclipse-plugin-2.9.0.jar复制到eclipse目录下的plugin...原创 2018-05-10 21:49:57 · 3898 阅读 · 1 评论 -
【四】hadoop-eclipse编译对应版本的插件
1.已安装eclipse2.下载anthttps://ant.apache.org/bindownload.cgi3.解压ant4.配置ant环境变量ANT_HOME=F:\ant\apache-ant-1.10.3-bin\apache-ant-1.10.3PATH后面加;%ANT_HOME%\bin5.查看是否安装正确cmdant -verion6.下载hadoop包解压(windows环境的...原创 2018-05-10 20:57:12 · 5725 阅读 · 10 评论 -
【三】hadoop分布式配置(HA高可用)
环境ubuntu16.04 这里有4台虚拟机ABCA的IP 192.168.2.103B的IP 192.168.2.104C的IP 192.168.2.106D的IP 192.168.2.107 节点配置情况如下 NN DN ZK ZKFC JN ...原创 2018-05-10 17:40:38 · 1027 阅读 · 0 评论 -
【二】hadoop伪分布式配置
环境：ubuntu16.04请先确定已成功安装hadoop单机版如果没有请参考：【一】hadoop单机版安装及运行wordcount这里的伪分布式是namenode,datanode全在同一个节点上，读取HDFS上的文件。1.修改配置文件core-site.xmlcd /app/hadoop/hadoop-2.9.0/etc/hadoopvi core-site.xml<configurat...原创 2018-03-23 19:25:26 · 348 阅读 · 0 评论 -
【九】hadoop编程之基于内容的推荐算法
基于内容的协同过滤推荐算法：给用户推荐和他们之前喜欢的物品在内容上相似的其他物品物品特征建模（item profile）以电影为例1表示电影具有某特征，0表示电影不具有某特征 科幻 言情 喜剧 动作 纪实 国产 欧美 日韩 斯嘉丽的约翰 成龙 范冰冰复仇者联盟： 1 ...原创 2018-06-04 14:58:24 · 3771 阅读 · 2 评论