![](https://img-blog.csdnimg.cn/c129742cd23a426d92b00165e86a45f6.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据全部内容复习总结
文章平均质量分 66
三个月没碰代码, 总结一下所有大数据知识,知识包括内容(linux丶shell丶hadoop丶zookeeper丶flume丶kafka丶hbase丶azkaban丶hive丶spark丶flink,以及离线数据仓库,推荐系统等知识点)
First_____
这个作者很懒,什么都没留下…
展开
-
003__JAVA模板方法-设计模式
定义了一个算法的骨架,并允许子类为一个或多个步骤提供实现举个例子,把大象放进冰箱分几步,第一打开冰箱,第二打大象放进冰箱,第三把冰箱关闭。这三个步骤就可以用模板方法的设计模式。原创 2023-02-19 21:21:22 · 488 阅读 · 1 评论 -
001__JAVA集合(List丶Set丶Map)
讲解java集合中的几大分类及其特点详解:List(有序,可以重复, 有索引)丶Set(无序,不重复, 无索引)丶Map(键值对,键唯一)原创 2023-02-18 17:51:30 · 758 阅读 · 0 评论 -
005__Hadoop常用命令大全
原文链接:https://blog.csdn.net/weixin_44441131/article/details/116657184。版权声明:本文为CSDN博主「InceptionZ」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小。hdfs dfs -du path/file显示目标文件file的大小。hdfs dfs -dus uri 递归显示目标文件的大小。打印出正被检查的文件。原创 2023-02-06 23:29:20 · 360 阅读 · 0 评论 -
001__Linux:centos7配置与windows主机网络互通
linux的网路问题: centos与windows之间网络互通原创 2023-02-04 21:13:56 · 853 阅读 · 0 评论 -
002__Linux的常用命令
linux的常用命令大全: ls,df -h,ps -ef,find,awk等等原创 2023-02-05 12:45:09 · 351 阅读 · 0 评论 -
001__Mysql的下载安装(linux)
一.在linux上下载 mysql.tar包注意:安装之前先查看本机上是否有,有的话进行删除// rpm -qa | grep mysql// rpm -qa | grep mariadb1.下载tar包//可以通过wget下载tar包,没有wget的话,可以使用 yum -y install wget 进行下载 wget 地址进行解压(我这里是直接解压到了当前目录) tar -xvf mysql-5.7.29-1.el7.x86_64.rpm-bundle.t原创 2021-06-05 00:20:08 · 1352 阅读 · 0 评论 -
001__Hadoop搭建前环境准备
1.安装yum源原因:因为centos7自带的yum源可能更新比较慢,下载速度慢, 比赛的时候会给我们提供好yum源的相关文件操作:常规操作: 将备份/etc/yum.repos.d/CentOS-Base.repo和epel.repo 文件,然后下载腾讯, 阿里等等多种yum源的其中之一比赛操作:将准备好的yum源文件,放在/etc/yum.repos.d文件下面或者使用wget来进行下载:示例: 阿里云wget -O /etc/yum.repos.d/CentOS-Base.repo原创 2021-08-13 22:48:00 · 1188 阅读 · 3 评论 -
002__Hadoop3.x集群配置及shell相关脚本
hadoop3.x集群配置vim /opt/module/hadoop-3.1.3/etc/hadoop/workers//配置集群相关内容 例: hadoop202hadoop203hadoop204配置文件配置core.xml<configuration><!-- 指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value&原创 2021-05-16 21:32:54 · 595 阅读 · 0 评论 -
003__Hadoop常见问题
Hadoop集群启动遇到的问题原创 2023-02-06 15:54:08 · 74 阅读 · 0 评论 -
004__Hadoop原理讲解(面试题)
Hadoop组件说明丶HDFS的读写流程图丶集群启动时的各个进程作用说明丶Yarn调度的流程丶MapReduce的运行原理流程讲解原创 2022-07-30 19:20:06 · 459 阅读 · 0 评论 -
001__Hive的安装启动
先在这里附上需要的安装包的下载地址hive下载官网mysql下载官网老规矩 ,下载前准备1.首先你的hadoop 集群要已经能够启动起来2. /opt/software 存放安装包 ; /opt/module 存放下载好的软件;(当然你也可以放在你想要放的其他的地方,但要注意路径问题)将下载好的hive的tar.gz包进行解压 tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/modu..原创 2021-06-09 15:24:02 · 329 阅读 · 0 评论 -
002__Hive的tez引擎的配置步骤
第一步:由于各个集群之间都需要使用tez,而将tez分发到各个集群,又很浪费磁盘空间,所以我们可以将 tez的tar.gz包上传到 hdfs上面供各个机器使用hadoop fs -mkdir /tezhadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz /tez第二步:将tez的tar.gz包进行解压后, 进入到hive/conf下vim tez-site.xml<?xml version="1.0" encod原创 2021-11-20 18:47:01 · 2361 阅读 · 0 评论