weixin_50554323的博客

原创 hadoop，hive，hue，impala安装与启动

hadoop，hive，hue，impalaHadoop安装配置启动Hive安装hive的补充配置方便使用启动Hue安装Hue整合Hadoop、Hive启动Impala安装准备本地yum源安装Impala启动Hadoop安装规划安装安装代码tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers添加Hadoop到环境变量 vim /etc/profile##HADOOP_HOMEexport HADOOP_HOME=/opt/lagou/se

转载 hive启动查询错误

https://www.cnblogs.com/mrma/p/13252097.htmlhive连接出现FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClienthive的conf中如果配置

原创 Hadoop-rm综合案例2.分区排序多目录输出

rm综合案例-好差评代码实现Mapperbean分区器自定义OutputFormatCommentOutputFormat问题与总结RecordWriterReduceDriver需求现在有一些订单的评论数据，需求，将订单按照好评与差评区分开来，将数据输出到不同的文件目录下，数据内容如下图，其中数据第九个字段表示好评，中评，差评。0：好评，1：中评，2：差评。现需要根据好评，中评，差评把数据分类并输出到不同的目录中,并且要求按照时间顺序降序排列。分析自定义InputFormat合并小文件自定义

原创 Hadoop-rm综合案例1：合并小文件

分析自定义InputFormat合并小文件自定义分区根据评论等级把数据分区自定义OutputFormat把数据输出到多个目录2.自定义InputFormatpackage com.lagou.mr.comment.step1;//自定义inputformat读取多个小文件合并为一个SequenceFile文件 //SequenceFile文件中以kv形式存储文件，key--》文件路径+文件名称，value-->文件的整个内容 import org.apache.hadoop.fs.

原创 综合案例中的几个点

原创 MapReduce读取与输出

文章目录InputFormatCombineTextInputFormat案例⾃定义InputFormatInputFormat运⾏MapReduce程序时，输⼊的⽂件格式包括:基于⾏的⽇志⽂件、⼆进制格式⽂件、数据库表等。那么，针对不同的数据类型，MapReduce是如何读取这些数据的呢?InputFormat是MapReduce框架⽤来读取数据的类。InputFormat常⻅⼦类包括:TextInputFormat （普通⽂本⽂件，MR框架默认的读取实现类型）KeyValueTextInp

原创 Hadoop分区排序

Hadoop全排序相关分区排序要点思路分析代码示例CustomGroupingComparator代码CustomPartitioner代码Mapper代码Reduce代码OrderBean代码Driver代码总结流程示意要点2 分区排序（默认的分区规则，区内有序）直白讲解：CustomGroupingComparator帮助我们实现Reduce分组的时候来制定我们的分组规则。然后再在组内进行排序，即实现分组排序。例如：按照订单id分组，然后排序，得到每个订单中价格最高或最低的商品id或价格。直

原创 Hadoop中全局排序的实现流程

文章目录要点一、参考代码mapper代码如下：reducer代码如下：bean代码如下（省略getset）：Driver代码如下：总结要点1. ⾃定义对象作为Map的key输出时，需要实现WritableComparable接⼝，排序：重写compareTo()⽅法，序列以及反序列化⽅法2. 再次理解reduce()⽅法的参数；reduce()⽅法是map输出的kv中key相同的kv中的v组成⼀个集合，调⽤⼀次reduce()⽅法，选择遍历values得到所有的key.（选择便利所有key将所有v按

原创 Hadoop流程

Hadoop流程Mapperpackage com.lagou.mr.wc;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;//单词计数//继承Mapper类//Mapp