分布式计算框架spark
记录我的学习之旅
fy_1852003327
2020年3月中旬,由一个博主视频让我开启CSDN之路
记录我的学习中的收获,并与大家分享
每一篇文章都会是倾心倾力,希望大家能指出不足的地方,互相进步,待我成为大牛之时,回首观望我的学习之旅,一路艰辛,我也满脸笑盈。
展开
-
基于JAVA API方式使用Kafka——编写生产者客户端
基于JAVA API方式使用Kafka编写生产者客户端【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】1.导入依赖:<repositories> <repository> <id>nexus-aliyun</id> <name>nexus-aliyun</name> <url>http://maven.aliyun.com/nexus/content原创 2020-06-11 20:55:07 · 505 阅读 · 0 评论 -
kafka命令操作(详细)
kafka命令操作【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】kafka0.10.2.1搭建看我另一篇文章:kafka0.10.2.1集群搭建(详细++)在用kafka命令操作之前必须进入kafka的目录下cd /soft/kafka //这里我的kafka在soft下1.开启kafkabin/kafka-server-start.sh config/server.properties2.关闭kafkabin/kafka-server-stop.sh s原创 2020-06-11 20:00:18 · 502 阅读 · 2 评论 -
kafka0.10.2.1集群搭建(详细++)
kafka0.10.2.1集群搭建【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】运行环境:scala2.11zookeeper3.4.5zookeeper搭建看我博客:Zookeeper3.4.5集群搭建(详+,一看就会)1.下载并解压(1)到官网进行下载这里下载的kafka是0.10.2.1版本,前面的2.11是scala版本,下载时一定要下载匹配自己scala版本的kafka版本(2)这里我把kafka下载并解压到了soft目录下并创建了软链接2.配置环境变原创 2020-06-11 17:41:50 · 410 阅读 · 0 评论 -
linux下安装hive2.3.6 (完全分布式下)
linux下安装hive2.3.6 (完全分布式下)【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】搭建环境:CentOS 7hadoop完全分布式集群mysql5.5 (接我上一篇写到过的安装mysql5.5)1.Hive元数据库的建立(1)进入mysql命令窗口方法一:mysql -uroot -p密码(你设置的密码,这里密码是root)mysql -...原创 2020-05-02 14:22:43 · 588 阅读 · 0 评论 -
linux下安装mysql5.5(一看就会,详细+)
linux下安装mysql5.5【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】参考文章:CentOS7安装mysql5.5一、检查本地是否安装过其他版本的mysqlrpm -qa|grep -i mysql由于有些版本自带的有mariadb,检查是否有mariadb,若是有需要先卸载rpm -qa|grep -i mariayum -y remove mar...原创 2020-05-02 13:49:06 · 3230 阅读 · 0 评论 -
Liunx下搭建spark开发环境 (完全分布式集群下)
Liunx下搭建spark开发环境 (完全分布式集群下)【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】借鉴文章:在linux上安装spark详细步骤Linux下安装SparkLinux中安装配置spark集群Spark2.4.0 分布式环境搭建运行环境:Linux所用版本为CentOS7Jdk 1.8.0_171Scala 2.11.12Hadoop 2.7...原创 2020-05-01 23:16:05 · 453 阅读 · 0 评论 -
Windows下搭建spark环境
Windows下搭建spark环境【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】参考文章:Spark在Windows环境是如何搭建的运行环境:Win10 64位Jdk 1.8.0_171Scala 2.11.12Hadoop 2.7.3Winutils.exe一:JDK的安装与环境变量的配置1.下载并安装jdk到官网找到自己想要下载的jdk下载其win...原创 2020-05-01 19:29:02 · 587 阅读 · 0 评论