![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 82
Lu_Xiao_Yue
这个作者很懒,什么都没留下…
展开
-
hadoop单机版和伪分布式搭建
单机版:使用的是linux上的文件系统,用于测试 使用过程: 解压到 /usr/local/ 配置/etc/profile下的环境变量 source /etc/profile ,然后修改 /usr/local/etc/hadoop/hadoop-env.sh 中的JAVA_HOME为jdk的路径 测试: 查找input目录下查找含有dfs的单词 1)在 /usr/lo...原创 2018-09-16 22:04:27 · 283 阅读 · 1 评论 -
封装输入输出流,封装对象池
装饰者模式封装对象流import org.apache.hadoop.fs.FSDataOutputStream;import java.io.IOException;/** *装饰流 */public class MyFSDataOutputStream extends FSDataOutputStream{ private String path ; priva...原创 2019-01-03 15:19:55 · 391 阅读 · 0 评论 -
hive与hbase关联
hive和hbase进行关联,将hbase中的和hive中的表进行关联1、把hive下的hive-hbase-handler-0.13.1-cdh5.3.6.jar包放到hbase的lib下,并修改hive-site.xml文件<property><name>hive.zookeeper.quorum</name><value>linu...原创 2018-12-11 08:22:23 · 698 阅读 · 0 评论 -
对Hbase进行MapReduce后将结果保存到MySQL中,MapReduce从MySQL中读取数据并把数据存储到hbase中
使用Mapreduce处理hbase的数据,并将数据存储到MySQL中1、首先先定义一个类,这里面的字段要和你的mysql数据库中的表的字段相对应package com.hbase2mysql;import org.apache.hadoop.io.Writable;import org.apache.hadoop.io.WritableComparable;import org.ap...原创 2018-12-07 20:11:18 · 1213 阅读 · 1 评论 -
hadoop求共同好友一个MapReduce搞定
Map端package com.yd.CommFriend;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;public class CommM...原创 2018-11-28 20:40:20 · 329 阅读 · 0 评论 -
关于hadoop中经常用到的一些脚本
准备: 前提是执行命令的机器必须可是同ssh免密到其他机器上,而且所有的机器必须安装rsyncssh1、 ssh-keygen, 生成秘钥2、 ssh-copy-id 192.168.136.128(ip地址)需要把公钥考到本机器和要执行命令的其他机器1、同步文件夹yum -y install rsync把这个文件放到/usr/local/bin目录下就可在任何地方执行了使用直...原创 2018-11-28 20:32:22 · 258 阅读 · 0 评论 -
hue简介及安装
一、来源HUE=HadoopUser Experience,是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用HUE我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。官网网站:http://ge...原创 2018-11-27 19:58:29 · 1391 阅读 · 1 评论 -
Hadoop初学者常见错误
错误一:本地运行Java 代码时出出现:2018-09-14 19:45:07,266 DEBUG org.apache.hadoop.util.Shell.checkHadoopHome() - Failed to detect a valid hadoop home directoryjava.io.IOException: HADOOP_HOME or hadoop.home.dir ...原创 2018-11-18 21:32:37 · 453 阅读 · 0 评论 -
Hbase的原理
一、HBase是针对谷歌BigTable的开源实现,是一个高可靠、高性能、面向列、可伸缩的分布式数据库,主要用来存储非结构化和半结构化的松散数据。HBase可以支持超大规模数据存储,它可以通过水平扩展的方式,利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。二、在Hadoop生态系统中的位置三、Hbase与传统的数据库之间的主要区别有一下几个方面(1)数据类型:关系型数据...原创 2018-11-18 20:10:01 · 357 阅读 · 0 评论 -
hdfs 的相关命令
hdfs 命令 hadoop fs 和 hdfs dfs 差不多 hadoop fs 不仅可以在hdfs 使用,使用面广,可以操作所有文件系统 hadoop dfs 和 hdfs dfs 都是用于hdfs 文件系统中,但是hadoop dfs 已经过时了hdfs dfs -help 参数 查看命令的用法 hdfs dfs -ls 文件 查看文件 ...原创 2018-09-16 22:09:46 · 287 阅读 · 0 评论 -
mahout之推荐算法
我们知道mahout的算法分为三大类:分类、聚类、推荐算法,这一篇博客就简单介绍一下推荐算法。我们可以通过推荐算法可以向客户推荐商品,根据该用户对某些商品的打分,可以找到与他有相似品味和审美的人群,再根据这些人群进行分析,推荐出商品举一个小例子如下,进行具体分析数据准备:第一个字段是userId, 第二个字段是商品ID,第三个是评分1,00,11,01,21,02,51,03,5...原创 2019-01-01 14:11:18 · 1302 阅读 · 2 评论