Hadoop、Linux
文章平均质量分 86
奋斗的小炎
设计推荐算法,接触过自然语言处理,对于人工智能领域的学习永无止境
展开
-
Hadoop启动异常的处理方法
本人的Hadoop启动出现了问题【例】Hadoop集群:192.168.2.9(Master:Online)192.168.2.8(Slave:Standby)Hadoop启动后使用jps查看进程时发现少了namenode选项,于是决定查看namenode的日志文件/hadoop/logs/hadoop-cloudwave-namenode-cloudwave1.log原创 2015-09-17 14:23:09 · 604 阅读 · 0 评论 -
(工程整理)如何用Maven构建Hadoop项目
本人去年的时候一直对maven项目很头疼,由于在构建hadoop项目时涉及到很多版本冲突方面的问题,但是在今年的开发中将很多问题得以解决。这一次,将本人的经验得以总结,为大家讲解一下用maven构建hadoop项目的具体步骤。(一)hadoop家族简介Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout...原创 2018-06-19 11:20:04 · 4624 阅读 · 1 评论 -
(转载)MapReduce shuffle过程剖详解及参数配置调优
MapReduce简介 在MapReduce中,框架会确保reduce阶段收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收,是一个很复杂的过程,框架处理了所有问题,并提供了很多配置项及扩展点。一个MapReduce的大致数据流如下图:更详细的MapReduce介绍参考《Hadoop MapReduce技术内幕》Mapper的输出排序、然后传送到Reducer的过程...转载 2018-06-07 19:39:07 · 772 阅读 · 0 评论 -
(转载)MapReduce作业配置参数
原文:https://blog.csdn.net/qiezikuaichuan/article/details/46682049Note:以下配置可在服务器的mapred-site.xml中配置,作为MapReduce作业的缺省配置参数。也可以在目标作业提交时,通过configuration个性化指定这些参数。参数名称缺省值说明mapreduce.job.name作业名称mapreduce.job...转载 2018-06-07 17:36:39 · 2748 阅读 · 0 评论 -
MapReduce的Shuffle过程详解
在前一篇博文,我已经讲解了MapReduce的过程。这一篇文章,我将会就MapReduce最重要的一个环节:Shuffle,来做具体的讲解,这部分内容将帮助你优化你的mapreduce程序,使你的程序更加高效。本文主要引用了http://langyu.iteye.com/blog/992916的内容,并做了一些更改。(一)什么是shuffleShuffle过程是MapReduce的核心(也被称为奇...原创 2018-06-07 13:38:12 · 2071 阅读 · 0 评论 -
MapReduce的通俗理解与入门
看这篇文章请出去跑两圈,然后泡一壶茶,边喝茶,边看,看完你就对hadoop 与MapReduce的整体有所了解了。【前言】Hadoop是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce、分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume等...原创 2018-06-07 11:10:20 · 35861 阅读 · 12 评论 -
用hadoop jar执行包含hbase应用的jar包报NoClassDefFoundError问题的解决
在离线分析任务中,为了在hadoop集群上分布式运行我们的程序,需要在eclipse环境中将需要运行的程序打好jar包,丢到服务器端,用hadoop jar xxx.jar <arg0> <arg1> ...... 命令来执行。在eclipse打包有两种打包形式:普通jar和runable jar若使用runable jar打包,则是将所有与程序相关的依赖jar包全部打包进...原创 2018-06-06 10:39:10 · 2528 阅读 · 0 评论 -
(转载)一个有关mapreduce全局变量的问题
https://blog.csdn.net/zeqblog/article/details/39006395最近在写mapreduce时,遇到一个问题,在class中定义的全局变量,在用eclipse本地开发运行时,mapreduce函数内部能取到参数变量,但是打包成jar包,用hadoop jar xxx.jar className 运行的时候,发现map或者reduce函数中取不到全局变量!!...转载 2018-06-05 14:11:01 · 774 阅读 · 0 评论 -
Eclipse中的maven项目打成jar包
实际生产中,我们经常要将maven项目打包成jar,然后直接放入hadoop集群环境中运行。之前对于maven项目的使用走了很多弯路,调试了好久,终于调试通过了。以下将为大家分享一下经验。本文讲解的是打成jar包,不是war包。首先在pom.xml中添加如下代码(添加插件,使得dependencies与项目源码打成一个jar):<build> <plugins> ...原创 2018-05-28 10:14:09 · 17287 阅读 · 2 评论 -
(转载)用Maven构建的Mahout项目实现协同过滤
原文地址:https://blog.csdn.net/jiutianhe/article/details/401117911. 用Mahout实现协同过滤userCFMahout协同过滤UserCF深度算法剖析,请参考文章:用R解析Mahout用户推荐协同过滤算法(UserCF)实现步骤:(1)准备数据文件: item.csv;(2)编写Java程序:UserCF.java;(3)运行程序(1)数...转载 2018-06-19 11:54:06 · 592 阅读 · 0 评论