![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 71
达文西不息
不断探索,不断追求
展开
-
SSM框架--(springmvc+mybatis【mysql】)+tomcat 浅解
一、启动maven二、maven工程基础设置1、第一个修改的地方2、第二个修改的地方3、第三个修改的地方4、配置pom.xmlpom.xml三、创建结构四、java内容1、UserMapperpackage cn.kgc.smmvc.biz.mapper;import cn.kgc.smmvc.entity.UserCond;import cn.kgc.smmvc.entity.UserInfo;import org.apache.ibatis.annot原创 2021-07-08 17:55:21 · 885 阅读 · 0 评论 -
hadoop详细安装配置步骤+免密操作
Hadoop详细安装步骤和免密操作第一步:检测/etc/hosts中的主机ip映射[root@wxl138 ~]# hostnamewxl138[root@wxl138 ~]# ip addr1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00原创 2021-06-09 21:59:13 · 531 阅读 · 1 评论 -
mapreduce-MR执行流程(IO)
MapReduce——MR的执行流程(五次IO)一个完整的mapreduce程序在分布式运行时有三类实例进程:MRAppMaster:负责整个程序的过程调度及状态协调mapTask:负责map阶段的整个数据处理流程(maptask的数量是不能设置的,reducetask可以自己设置job.setNumReduceTasks(5);)ReduceTask:负责reduce阶段的整个数据处理流程对于MR的执行流程,我是通过其过程中的五次IO来记忆的,详细解释如下(最后有流程详图):原创 2021-06-22 19:55:47 · 1860 阅读 · 0 评论 -
zepplin安装配置和所有命令失效总结
zeppelin安装配置安装前提:在安装zeppelin前要保证你的hadoop和hive是开着的噢,这很重要!!!第一步将下载的压缩包放入/opt/download/hadoop目录下面(我是放在这边的,大家可以自己任意选择)cd /opt/download/hadoopls然后直接拖就行了第二步1、解压解压压缩包至/opt/software目录下面(这边我下的是zeppelin-0.8.2-bin-all.tgz)tar -zxvf /opt/download/hadoop/zep原创 2021-06-21 19:58:16 · 611 阅读 · 0 评论 -
大数据入门简介(一)了解大数据
大数据入门简介(一)首先我们先想想为什么会大数据,或者说它能干什么?与常规数据比较,大数据体现在什么地方?大数据大数据,关键是什么,大!!!就是这么浅显,大,什么大,数据大呗。下面我们就围绕这个大好好谈谈这个大数据。一、概念(三无、俩海)1、大数据是指无法通过常规软件等工具对数据内容进行抓取、管狸和处理的数据集合(三无)。2、大数据主要解决(俩海):海量的数据存储和海量的数据计算问题。二、特性(四V俩固)四大特性(4V): Volume:大数据量。大多是过去俩年产生的数据 Veloci原创 2021-06-20 16:59:23 · 906 阅读 · 0 评论 -
org.apache.hadoop.hive.metastore.HiveMetaException: Unknown version specified for initialization: 3.
org.apache.hadoop.hive.metastore.HiveMetaException: Unknown version specified for initialization: 3.1.0我的是联想拯救者,hive找不到3.1.0的版本,无奈之下只能去降版本了,然而当我把apache_hive-2.3.8-bin.tar.gz下载后, 更恶心的是我还需要把hadooop版本也换了!!!下载后,然后把这俩个压缩包直接拖到/opt/download/hadoop/下面下面是我降版本的原创 2021-06-09 22:16:21 · 2827 阅读 · 3 评论