自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(24)
  • 收藏
  • 关注

原创 hadoop HA模式搭建(基于前面博客要先搭建好zookeeper。hadoop HA模式搭建只是更改/etc/hadoop目录下面文件)

【代码】hadoop HA模式搭建(基于前面博客要先搭建好zookeeper。hadoop HA模式搭建只是更改/etc/hadoop目录下面文件)

2024-04-03 10:09:41 202 1

原创 mysql8.0.33-1.el7.x86_64.rpm-bundle搭建

【代码】mysql8.0.33-1.el7.x86_64.rpm-bundle搭建。

2024-01-27 20:57:53 491

原创 Spark On YARN 环境搭建

基于前面一般我们都是用Spark On YARN跑代码,所有说王炸都在后面。

2024-01-09 23:27:59 382

原创 Spark StandAlone HA 环境搭建

主要是宕机问题基于前面博客搭建好hadoop, zookeeper,并且启动。

2024-01-09 21:54:21 343

原创 Spark StandAlone环境部署

使用三台Linux虚拟机来组成集群环境, 非别是:master运行: Spark的Master进程 和 1个Worker进程slave1运行: spark的1个worker进程slave2运行: spark的1个worker进程整个集群提供: 1个master进程 和 3个worker进程基于前面博客。

2024-01-09 20:38:44 430

原创 Spark Local环境部署

功能功能提供一个python提供一个scala提交java\scala\python代码到spark中运行解释器环境用来以python代码执行spark程序提供一个python解释器环境用来以scala代码执行spark程序提供一个scala提供一个scala特点解释器环境 写一行执行一行解释器环境 写一行执行一行提交代码用使用场景测试\学习\写一行执行一行\用来验证代码等测试\学习\写一行执行一行\用来验证代码等正式场合, 正式提交spark程序运行。

2024-01-09 16:37:05 1949

原创 Anaconda On Linux 安装

【代码】Anaconda On Linux 安装。

2024-01-02 19:06:23 358 1

原创 ## MySQL8.0版本安装方法

默认情况下,root用户是不运行远程登录的,只允许在MySQL所在的Linux服务器登陆MySQL系统。请注意,此配置仅仅是用于测试环境或学习环境的MySQL,如果是正式使用,请勿设置简单密码。我们可以给root设置简单密码,如123456.主要修改root密码和允许root远程登录。的服务,可以被systemctl所管理。

2024-01-01 18:03:05 405

原创 MySQL5.7版本安装方法

通过find / -name mysql.sock 查询到结果,做一个软链接到/tmp目录下即可解决问题。默认情况下,root用户是不运行远程登录的,只允许在MySQL所在的Linux服务器登陆MySQL系统。请注意,此配置仅仅是用于测试环境或学习环境的MySQL,如果是正式使用,请勿设置简单密码。主要配置管理员用户root的密码以及配置允许远程登录的权限。我们可以给root设置简单密码,如123456.的服务,可以被systemctl所管理。

2024-01-01 17:55:50 387

原创 基于python爬虫,hadoop,mysql,hive,sqoop一个可以优化的项目

sqoop介绍。

2023-11-30 09:20:37 441 1

原创 python连接hive操作

【代码】python连接hive操作。

2023-11-27 17:42:22 372 1

原创 sqoop

【代码】sqoop。

2023-10-14 16:12:11 76 1

原创 Docker里面安装hadoop

名称ipdocker。

2023-10-09 00:35:00 182 1

原创 Docker安装

​​​​名称ipdocker。

2023-10-08 11:20:33 67 1

原创 Flink

Flink同Spark一样,是一款分布式内存计算引擎,可以支撑海量数据的分布式计算。Flink在大数据体系同样是明星产品,作为最新一代的综合计算引擎,支持离线计算和实时计算。在大数据领域广泛应用,是目前世界上除去Spark以外,应用最为广泛的分布式计算引擎。我们将基于前面构建的Hadoop集群,部署Flink Standalone集群Spark更加偏向于离线计算而Flink更加偏向于实时计算。

2023-09-17 21:58:56 73 1

原创 CentOS-7-x86_64-DVD-1810-7.6里面安装python3

运行上述命令后,如果能够正确显示Python 3的版本号,则说明安装成功。

2023-09-17 16:30:26 353 1

原创 HBase集群部署

start-hbase.sh即在$HBASE_HOME/bin内,所以可以无论当前目录在哪,均可直接执行。由于我们配置了环境变量export PATH=$PATH:$HBASE_HOME/bin。请确保:Hadoop HDFS、Zookeeper是已经启动了的。【hadoop01执行】

2023-09-16 15:57:39 189 4

原创 Kafka_2.12-2.4.1集群安装部署

【代码】Kafka_2.12-2.4.1集群安装部署。

2023-07-18 20:36:55 683 1

原创 Zookeeper-3.5.9集群部署

【代码】Zookeeper-3.5.9集群部署。

2023-07-18 18:09:18 300 1

原创 Spark-2.4.5搭建

【代码】Spark-2.4.5搭建。

2023-07-18 11:03:25 217 1

原创 Hadoop(四:Hive3.1.2搭建)

只要在hadoop01上搭建hadoop02 hadoop03没有必要。

2023-07-14 00:35:22 1548

原创 hadoop(三:mysql-5.7.29搭建)

【代码】hadoop(三:mysql-5.7.29搭建)

2023-07-13 12:33:55 265 1

原创 hadoop(二:hadoop3.3.0搭建,HDFS shell 命令,MapReduce程序)

上传1.txt文件(里面是一些单词)到HDFS1.txt。

2023-07-12 15:17:07 1981 1

原创 hadoop(一:基础环境搭建)

3台: 目录1:下载软件,镜像2:CentOS-7-x86_64-DVD-2009搭建3:SSH免密登录1:下载VMware17vmware17密钥:MC60H-DWHD5-H80U9-6V85M-8280D2:下载FinalShll3:下载CentOS-7-x86_64-DVD-20091:安装vim wget ntpdate2:集群时间同步3:禁用防火墙(reboot后才可以生效)4:查看当前防火墙状态5:主机名和IP映射配置6:在主机上添加IP win(在主机上可以

2023-07-12 03:08:48 431 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除