自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 收藏
  • 关注

原创 Mac vue项目创建

以上步骤应该可以帮助您在Mac上安装和配置Vue脚手架。如果您使用的是较旧的Vue CLI版本(如2.9.6),可能需要使用 `npm uninstall -g vue-cli` 来卸载旧版本,然后再使用 `npm install -g @vue/cli` 安装新的Vue CLI版本。

2024-03-02 18:20:52 172 1

原创 Mac 安装vue脚手架出现报错npm ERR! code EACCESnpm ERR! syscall symlink

打开终端,输入 `node -v` 来检查是否安装了Node.js。如果输出了版本信息,表示已经安装成功;否则,需要去Node.js官网(https://nodejs.org/)下载并安装最新版本。在终端中,输入 `npm install -g @vue/cli` 来全局安装Vue CLI。这将在用户级别安装脚手架工具,使得可以随时使用。正确路径应该为/usr/local/lib/node_modules。我本以为已经安装好了的时候,后面就报了这样的错误!1.首先确保已经安装了node和npm。

2024-03-02 18:02:30 343 2

原创 数据挖掘spark介绍

了解什么是Spark、pySpark定义:Apache Spark是用于大规模数据(Large scale data)处理的统一(unified)分析引擎简单来说,Spark是一款分布式的计算框架,用于调度成百上千的服务器集群,计算TB、PB乃至EB级别的海量数据Spark作为全球顶级的分布式计算框架,支持众多的编程语言进行开发,而python语言,则是Spark重点支持的方向pySparkSpark对python语言的支持,重点体现在,python第三方库:PySpark之上。

2024-02-11 19:45:26 40 1

原创 保姆级教程安装python开发环境windows/Mac系统

在安装提示,直接点击【同意】-【安装】(如果当前系统设置了密码,则在安装的时候会提示输入密码,输入密码,点击【立即安装】即可。在python官网上进行下载应用:https://www.python.org(有时候网络比较慢)下载最新版本就好。下载完成后进行双击打开,拖动到mac的应用列表中,和安装mac版其它软件是一样的操作。直接双击进入到安装页面,点击【继续】,直至出现安装提示。等待安装后直接打开并新建文件即可,如下即表示安装完成。安装完成之后提示如下界面,并且提示安装成功。进入python官方网站(

2024-02-03 14:47:56 208 1

原创 大数据平台环境搭建---- Spark组件配置

Spark使用Scala语言进行实现,它是一种面向对象、函数式编程语言,能够像操作本地集合对象一样轻松地操作分布式数据集。参考文献:https://www.cnblogs.com/xupccc/p/9800380.html。复制Spark配置模板:cp spark-env.sh.template spark-env.sh。进入Spark配置目录:cd /usr/local/src/spark/conf/# 启动 spark 脚本,由于与 Hadoop 脚本同名,需要进入到目录执行。

2024-01-20 14:59:44 873

原创 大数据平台环境搭建---- MySql数据库组件配置报错

这是由于我们连接数据库使用的主机名参数为“localhost”,或者未使用主机名参数、服务器默认使用“localhost”做为主机名。使用主机名参数为“localhost”连接mysql服务端时,mysql客户端会认为是连接本机,所以会尝试以socket文件方式进行连接(socket文件连接方式,比“ip:端口”方式效率更高),这时根据配置文件“/etc/mysql.cnf”的路径,未找到相应的socket文件,就会引发此错误。启动MySql服务:systemctl start mysqld。

2024-01-20 12:42:14 917

原创 大数据平台环境搭建---- Kafka组件配置

链接:https://pan.xunlei.com/s/VNoS5J4h7-dL_0o5tkBruBsiA1?3、支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输。附加:Zookeeper集群必须部署完成且启动,如果还没有搭建请先前往>>Zookeeper组件配置。1、以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能。进入Kafka配置目录:cd /usr/local/src/kafka/config/

2024-01-18 23:09:08 371 1

原创 大数据平台环境搭建---- Hive&MySql数据库组件配置

hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。警告:mysql-community-common-5.7.25-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY。部署Hive时需要更改Hadoop中的驱动文件,最好先停止Hadoop集群,避免出现异常。进入Hive配置目录:cd /usr/local/src/hive/conf/

2024-01-18 18:22:07 925 1

原创 大数据平台环境搭建---- Zookeeper组件配置

ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在 某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。进入Zookeeper配置目录:cd /usr/local/src/zookeeper/conf/进入到其官网后,选择download下载对应的zookeeper版本即可。

2024-01-18 14:42:48 893

原创 大数据平台环境搭建---- Hbase组件配置

进入Hadoop安装目录的conf目录,将配置文件core-site.xml和hdfs-site.xml复制到HBase安装目录下的conf目录,用于HBase启动时读取Hadoop的核心配置信息和HDFS配置信息。在HBase安装目录下的conf目录,执行“vi backup-masters”命令编辑备用HMaster配置文件backup-masters,配置备用HMaster所在的服务器主机名.在HBase安装目录下的conf目录,执行“vi hbase-site.xml”命令编辑HBase配置文件。

2024-01-18 14:16:33 910

原创 大数据平台环境搭建---- Flume组件配置

由于数据源是可定制的,Flume可以用于传输大量事件数据,包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息和几乎所有可能的数据源。Flume是一个分布式的、可靠的、可用的系统,用于有效地收集、聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储。复制Flume配置模板:cp flume-env.sh.template flume-env.sh。进入Flume配置目录:cd /usr/local/src/flume/conf/编辑Flume配置文件:vi flume-env.sh。

2024-01-18 11:59:17 338

原创 大数据平台环境搭建---- Flink组件配置

由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同,流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效处理,所以在实现的时候通常是分别给出两套实现方法,或者通过一来实现其中每一种处理方案。Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架,它基于同一个Flink流式执个独立的开源框架行模型(streaming execution model),能够支持。进入Flink配置目录:cd /usr/local/src/flink/conf/

2024-01-17 22:58:37 787

原创 大数据平台环境搭建---- Hadoop组件配置

配置三台主机作为Hadoop数据仓库,一台主机作为管理机(master),两台主机作为服务机(slave1,slave2)进入Hadoop配置目录:cd /usr/local/src/hadoop/etc/hadoop/线程:master——六个 slave1——三个 slave2——三个。免密登录就会出错,三台虚拟机互通的前提就是做好映射,否者是没有办法把文件拷贝给其两台的 ——格式:IP地址:50070 ——这里有个小细节,冒号一定要是英文的状态下去输入。

2023-07-19 09:48:52 148

原创 Java中Switch语句解析

如果你前面已经学过if语句的话,你会发现if语句在多重嵌套下,会显得非常凌乱,代码的可读性也非常差。所以switch语句也可以实现if语句相同的功能,只不过在多重判断下,运用switch语句会是代码更加简洁。

2022-12-14 18:30:24 4429 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除