- 博客(9)
- 收藏
- 关注
RSS订阅原创 Hadoop3.x高可用集群搭建流程
本文基于尚硅谷Hadoop3.x搭建高可用集群文档，hadoop版本为hadoop3.1.3，用于记录自己实操部署的过程和可能存在的问题。
2022-11-07 10:43:40
1575
原创 MapReduce尝试在一个map方法中封装多个key
当前统计单个用户通话信息已经封装了一个自定义key,AnalysisKey（属性值为tel和date），自然想到再封装一个新的自定义key,AnalysisIntimacyKey（属性值caller,callee,date）。但map方法或者reduce方法中都是只能返回一种key和value，因此如果直接在一个map()中封装另一个自定义key的话，map的返回值key会不知道指定哪个。
2022-08-21 20:02:27
712
原创 关于IDEA打包JAR上传到Hadoop集群运行出现ClassNotFound的问题
复现尚硅谷大数据电信客服项目到数据分析的时候，发现无论怎么改变IDEA或者maven的打包方式、添加依赖jar，hadoop集群始终无法在运行项目的时候加载出来打包时候的其他第三方依赖，总会出现部分类的class not found exception（我尽力了也许是我不熟悉IDEA或者maven到底应该是怎么打包的）。...
2022-08-18 20:32:51
1327
原创 基于Ubuntu Server和Docker搭建Hadoop完全分布式集群
Ubuntu Server中使用Docker搭建Hadoop集群Ubuntu Server安装拉取Ubuntu镜像创建容器换源Ubuntu Server安装在Ubuntu官网中下载Ubuntu Server 20.4.3 LTS版本，并在VMWare虚拟机中（其他虚拟机软件皆可）安装好。由于Ubuntu Server在安装的过程中集成了多种预装软件可以勾选，大家在安装的时候直接将Docker勾选上就可以了，可以根据需要进行其他产品的安装。其余的步骤可以自行搜索Ubuntu安装的教程进行安装，安装
2021-10-09 17:01:13
323
原创 HDFS Java API 操作
HDFS Java API 操作首先需要挑选一个心仪的IDE，这里就用人见人爱的Eclipse吧，然后为了导包方便，这里选择搭建一个Maven项目，将Hadoop的Java API包引入到项目的pom.xml文件中。<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.8.2<
2021-07-12 11:38:26
412
原创 HDFS常用命令行操作
HDFS命令行操作查看HDFS所有支持命令列表$hdfs dfsUsage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALM
2021-06-12 13:53:58
240
原创 ajax+springmvc实现前端表单传值并赋给后端实体类对象
ajax+springmvc实现前端表单传值并赋给后端实体类对象前端页面实体类对象控制器最后的效果最近做的项目要求要把页面上的表单数据传递到后端，并用一个实体类对象接收相应的属性值。开始时我没有用ajax，直接将表单传回去，发现会一直报错HTTP 415 unsupported media type。然后在网上查别的博主的博客发现大部分都是修改ajax里面的一些参数，后来也就上了ajax。期间走了不少弯路，现在讲自己的实现过程分享给大家。第一次写博客，有什么不当的地方还请各位朋友积极批评和指正，共同进步！
2020-11-28 23:28:52
1393
空空如也
ARCore坐标转换
2023-07-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人