hadoop日志【6】----mahout的速度

最新推荐文章于 2023-01-29 20:35:19 发布
最新推荐文章于 2023-01-29 20:35:19 发布
阅读量1k 收藏
点赞数
分类专栏： 实践手册 大数据笔记 文章标签： mahout 性能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xqj198404/article/details/17265579
版权

今天测试mahout的数据提取和处理

结果很郁闷了一下

数据提炼很快，半个小时不到完成了，就处理为vector的了

但是开始使用canopy算法分析就不行了

整整一个小时才跑了4%

而以前相同的数据使用hive进行数据逻辑处理接近一个小时都处理完了

而且小集群的五台机器全部性能消耗达到了100%，一路的全线彪红

这种计算密集型的东东用目前的机器配置有点低了

无人境域
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop概述2021-10-08
larouyou的博客
10-09 53
什么是hadoop 开源的 可靠的 可扩展的 分布式计算 可解决的问题 海量数据存储 —— HDFS（分布式文件系统） 存海量数据 动态的添加机器，也可减少机器 备份，默认备份三份 快速自动恢复，当数据文件损坏时 海量数据分析 —— mapreduce 海量 核心理念-- 分而治之 对集群资源的管理和任务调度 —— yarn 资源管理（CPU、内存） 任务调度 特点 扩容能力 成本低（普通机器） 高效率 可靠性（实时保证数据完整性，实时备份） 背景 谷歌三大论
Mahout-0.9-jar包
01-15
在“Mahout-0.9-jar包”的压缩文件中，通常会包含如`mahout-core-0.9.jar`、`mahout-math-0.9.jar`等核心库，以及可能的依赖库，如`slf4j-api-*.jar`（日志框架）和`hadoop-*.jar`（Hadoop相关的依赖）。开发者需要...
Mahout基于内存的DataMode 推荐引擎Demo2
woshiwzy的博客
01-28 114
//注释的部分是基于文件也可以理解为基于日志文件的， //DataModel 可以有很多种，实现abstractDataMode的子类，原则上都可以作为数据源，个人觉得，不管是那种DataMode各自有优缺点 //应该视情况而定， package com.test.mahout; import java.util.List; import org.apache.mah...
使用Mahout搭建推荐系统之入门篇4-Mahout实战
清风漫步的专栏
11-07 5079
用意： 结合上篇博客，写写代码熟悉一下Mahout。很多地方想法都比较粗糙，亟待指正。 代码放在了：https://github.com/xiaoqiangkx/qingRS 一、基本内容     1. 加载数据: 判断userID和itemID的大小关系     2. 过滤数据: 评分较少的用户直接过滤掉, 那些评分均一致且评分数量多的用户过滤掉. 计算过滤百分比, 如果过滤过多
mahout聚类结果的输出和可视化
wanghailong000的博客
11-30 2562
1、在mahout中，org.apache.mahout.utils.clustering.ClusterDumper类可以将聚类结果输出，如果是打印在控制台，则可以使用：  ClusterDumper clusterdumper=new ClusterDumper(sequentialfile,clusterpoints);      clusterdumper.printClusters
mahout 详解
热门推荐
qq_36864672的博客
12-13 2万+
前言 用Mahout来构建推荐系统，是一件既简单又困难的事情。简单是因为Mahout完整地封装了“协同过滤”算法，并实现了并行化，提供非常简单的API接口；困难是因为我们不了解算法细节，很难去根据业务的场景进行算法配置和调优。 本文将深入算法API去解释Mahout推荐算法底层的一些事。 目录 Maho
mahout入门指南之mahout单机版推荐算法
linger(心怀梦想，活在当下，知乎ID：linger liu)
12-06 6340
mahout入门指南之mahout单机版推荐算法   鄙人最近在研究mahout，网上找了一些入门资料来看，发现都整理的比较乱。折腾了一番，终于搞清楚了。为了让新手们较快入门，决定总结分享一下，写此入门指南。   mahout是什么？ mahout是一个机器学习库，里面实现了一些算法，比如推荐算法，聚类算法。 实现方式有单机内存版，也有分布式（hadoop和spark）。
Ambari 2.6.1 构建 Hadoop 集群 ---- CentOS 7
devalone 的专栏
06-20 3349
  1. 准备 ( Getting Ready ) Ambari 为 Hadoop 集群提供了一个端对端的管理和监控方案(end-to-end management and monitoring solution)。利用 Ambari 的 Web UI and REST APIs, 可以在一个中心点部署、操作、管理配置，以及监控集群的所有节点服务。     1.1 确定安装栈兼容性 ( Det...
Hadoop 复习 ---- chapter01【大数据概念】
最新发布
在人间负债^
01-29 851
指“无法由现有软件工具进行提取、存储、搜索、共享、分析和处理的庞大而复杂的数据集”。通常由四个 V 来描述（大量数据、多样化、价值密度低、速度快）。大量数据（valume）：从 TB 级别，跃升到 PB 级别多样化（variety）：网络日志、视频、图片、地理位置价值密度低（value）：价值密度与数据总量成反比。速度快（velocity）：大数据区分为传统数据挖掘的显著特征–一秒定律。
Hadoop3 - 基本介绍与使用
小毕超博客
10-03 2265
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。广义上来说，Hadoop通常是指Hadoop生态圈，狭义上说，Hadoop指ApacheHDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算。
Hadoop Real-World Solutions Cookbook - Second Edition
10-19
书中不仅涵盖了Hadoop 2.x及其核心组件YARN的深入讲解，还详细探讨了Hive、Pig、Oozie、Flume、Sqoop、Apache Spark和Mahout等工具的实际应用场景和最佳实践。对于希望深入了解和掌握Hadoop生态系统的开发者来说，...
hadoop-0.20.2-cdh3u6
09-04
10. **Hadoop生态系统**：除了上述组件，CDH3u6还可能包含其他如Mahout（机器学习库）、Ambari（Hadoop管理界面）等组件，这些都构成了一个完整的Hadoop生态系统，为企业提供了全方位的大数据解决方案。 这个"hadop...
Hadoop技术-Ambari简介.pptx
11-02
6. **集成工具**：Ambari还支持与其他工具的集成，如Sqoop（数据库ETL工具）用于数据导入导出，Flume（日志采集）用于收集和传输日志数据，以及Mahout（机器学习库）进行数据分析和建模。 **Ambari的架构** Ambari...
Hadoop技术-Hadoop架构简介.pptx
11-02
Hadoop架构简介主要包括HDFS、MapReduce、Yarn、HBase、Hive、Pig、Mahout、ZooKeeper、Flume和Sqoop等组件。 HDFS（Hadoop Distributed File System）是Hadoop项目的核心组件，对海量数据进行存储与管理，实现将...
hadoop集群安装与配置---hive安装与配置
无人境域
06-17 4145
1.      hive安装在hadoop.client上 2.      解压缩安装在/home/hadoopuser下 3.      配置 (1)    复制一份hive-env.sh.template，取消.template后缀 (2)    更改hive-env.sh的内容: HADOOP_HOME=/home/hadoopuser/hadoop (3)    复制一份hiv
centos6.4上安装storm0.82
无人境域
08-28 3664
centos 6.4版本下安装storm0.82 如果无法联网，使用文件安装请在这里寻找更新源    base源 文件列表 1.首先安装libtool，否则autogen的脚本无法运行yum install libtool 2.安装libuuid-devel，否则报错yum install libuuid-devel 3.先安装zeromq的2.1.4版本，注意，如果有co
hive0.11安装与配置
无人境域
09-29 3518
将原来的hive0.10的配置文件拷贝到0.11的conf下，然后将mysql中的hive库清掉 运行hive，结果 Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient 仔细看看异常创建不了到mysql的连接。 用用户直接登录mysql，没问题，那就是缺少连接器了 仔细对比一下，原来是少了m
Mahout实战：探索大数据机器学习
6. **集成Mahout到现有系统**：介绍如何将Mahout与各种数据源（如数据库、日志文件或Web服务）集成，以及如何在Java、Scala或其他支持Hadoop的语言中使用Mahout API。 7. **性能优化**：讨论了如何调整Hadoop集群...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值