大数据全部内容复习总结
文章平均质量分 66
三个月没碰代码, 总结一下所有大数据知识,知识包括内容(linux丶shell丶hadoop丶zookeeper丶flume丶kafka丶hbase丶azkaban丶hive丶spark丶flink,以及离线数据仓库,推荐系统等知识点)
First_____
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
003__JAVA模板方法-设计模式
定义了一个算法的骨架,并允许子类为一个或多个步骤提供实现举个例子,把大象放进冰箱分几步,第一打开冰箱,第二打大象放进冰箱,第三把冰箱关闭。这三个步骤就可以用模板方法的设计模式。原创 2023-02-19 21:21:22 · 684 阅读 · 1 评论 -
001__JAVA集合(List丶Set丶Map)
讲解java集合中的几大分类及其特点详解: List(有序,可以重复, 有索引)丶Set(无序,不重复, 无索引)丶Map(键值对,键唯一)原创 2023-02-18 17:51:30 · 886 阅读 · 0 评论 -
005__Hadoop常用命令大全
原文链接:https://blog.csdn.net/weixin_44441131/article/details/116657184。版权声明:本文为CSDN博主「InceptionZ」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小。hdfs dfs -du path/file显示目标文件file的大小。hdfs dfs -dus uri 递归显示目标文件的大小。打印出正被检查的文件。原创 2023-02-06 23:29:20 · 546 阅读 · 0 评论 -
001__Linux:centos7配置与windows主机网络互通
linux的网路问题: centos与windows之间网络互通原创 2023-02-04 21:13:56 · 1074 阅读 · 0 评论 -
002__Linux的常用命令
linux的常用命令大全: ls,df -h,ps -ef,find,awk等等原创 2023-02-05 12:45:09 · 454 阅读 · 0 评论 -
001__Mysql的下载安装(linux)
一.在linux上下载 mysql.tar包 注意:安装之前先查看本机上是否有,有的话进行删除 // rpm -qa | grep mysql // rpm -qa | grep mariadb 1.下载tar包 //可以通过wget下载tar包,没有wget的话,可以使用 yum -y install wget 进行下载 wget 地址 进行解压(我这里是直接解压到了当前目录) tar -xvf mysql-5.7.29-1.el7.x86_64.rpm-bundle.t原创 2021-06-05 00:20:08 · 1507 阅读 · 0 评论 -
001__Hadoop搭建前环境准备
1.安装yum源 原因: 因为centos7自带的yum源可能更新比较慢,下载速度慢, 比赛的时候会给我们提供好yum源的相关文件 操作: 常规操作: 将备份/etc/yum.repos.d/CentOS-Base.repo和epel.repo 文件,然后下载腾讯, 阿里等等多种yum源的其中之一 比赛操作:将准备好的yum源文件,放在/etc/yum.repos.d文件下面 或者使用wget来进行下载: 示例: 阿里云 wget -O /etc/yum.repos.d/CentOS-Base.repo原创 2021-08-13 22:48:00 · 1379 阅读 · 3 评论 -
002__Hadoop3.x集群配置及shell相关脚本
hadoop3.x集群配置 vim /opt/module/hadoop-3.1.3/etc/hadoop/workers //配置集群相关内容 例: hadoop202 hadoop203 hadoop204 配置文件 配置core.xml <configuration> <!-- 指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value&原创 2021-05-16 21:32:54 · 736 阅读 · 0 评论 -
003__Hadoop常见问题
Hadoop集群启动遇到的问题原创 2023-02-06 15:54:08 · 173 阅读 · 0 评论 -
004__Hadoop原理讲解(面试题)
Hadoop组件说明丶HDFS的读写流程图丶集群启动时的各个进程作用说明丶Yarn调度的流程丶MapReduce的运行原理流程讲解原创 2022-07-30 19:20:06 · 610 阅读 · 0 评论 -
001__Hive的安装启动
先在这里附上需要的安装包的下载地址 hive下载官网 mysql下载官网 老规矩 ,下载前准备 1.首先你的hadoop 集群要已经能够启动起来 2. /opt/software 存放安装包 ; /opt/module 存放下载好的软件;(当然你也可以放在你想要放的其他的地方,但要注意路径问题) 将下载好的hive的tar.gz包进行解压 tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/modu..原创 2021-06-09 15:24:02 · 457 阅读 · 0 评论 -
002__Hive的tez引擎的配置步骤
第一步: 由于各个集群之间都需要使用tez,而将tez分发到各个集群,又很浪费磁盘空间, 所以我们可以将 tez的tar.gz包上传到 hdfs上面供各个机器使用 hadoop fs -mkdir /tez hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz /tez 第二步: 将tez的tar.gz包进行解压后, 进入到hive/conf下 vim tez-site.xml <?xml version="1.0" encod原创 2021-11-20 18:47:01 · 2713 阅读 · 0 评论
分享