zhangz1z-CSDN博客

原创 Hadoop分布式集群搭建时只显示一个节点

由于刚开始用的是单机环境的Hadoop，后面克隆了两台slave机器，但是在启动Hadoop集群时Yarn能看到3个节点，而在HDFS Web UI页面却只有一台机器。

2023-06-01 14:03:22 1103

原创兰空图床苹果快捷指令

针对兰空图床实现的Apple快捷指令，实现将iOS/iPad/Mac中的图片上传至兰空图床，亦或是将本地已上传的图片进行图床中的删除

2022-07-02 23:38:20 775 1

原创大数据分析实训——使用Spark SQL分析美国新冠肺炎疫情

项目思路：使用Spark SQL读取文件数据集来生成Data Frame对象，再利用Spark SQL函数对Data Frame对象进行数据分析，并将结果存入MySQL数据库，再以Web网页的形式对分析结果进行可视化，其中使用Spring Boot读取数据库把数据以JSON形式返回给Vue，ECharts对JSON结果进行分析，得到图表。项目环境：JDK(v11.0.13)Spark(v3.2.1)Scala(v2.13.8)Spring Boot(v2.6.7)Vue(v3.2.23)EC

2022-06-02 11:48:47 2921 2

原创 Spark SQL上海摩拜共享单车数据分析

1 生成DataFrame对象val bikeDF = sqlContext.read .format("csv") .option("header", "true") .option("timestampFormat", "yyyy-MM-dd HH:mm") .load("src/main/scala/com/zhangz1/mobike_shanghai_sample_updated.csv")2 展示数据bikeDF.show()3 根据

2022-04-23 10:47:14 1689

原创 Windows下配置Hadoop及Spark环境

前言教程所用各版本说明一 JDK环境配置由于项目用的JDK17，所以单独给Hadoop配了JDK11，建议直接配置JAVA_HOME环境变量为JDK11，因为后面Spark需要用到JAVA_HOME下载jdk-11.0.13_windows-x64_bin.zip链接：https://www.oracle.com/in/java/technologies/javase/jdk11-archive-downloads.html单独修改Hadoop的话，需要在Hadoop目录下的etc\hado

2022-03-29 16:48:30 8669 22

原创 Intellij IDEA创建Scala项目

一、下载Intellij IDEA插件Scala二、安装Scala SDKhttps://www.scala-lang.org/download/建议下载*.zip文件，免安装，然后把scala目录下的bin目录添加到系统路径，这样cmd输入scala就可以启动scala -version --> 查看版本scala --> 进入scala解释器（类似于python）quit --> 退出三、创建S

2022-03-09 21:06:50 3251

原创 Spring Boot发送验证码

1创建Spring Boot项目2导入依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-mail</artifactId> <version>2.6.3</version></dependency>3配置application.ymlspring:

2022-02-13 22:45:23 378

原创 Spring Boot整合MyBatis-Plus简单demo

一、准备新建Spring Boot项目1.见文章Intellij IDEA 2021.3搭建Spring Boot项目2.引入依赖<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </

2022-01-24 19:13:46 761 2

原创 Spring Boot启动Banner修改以及关闭

一、banner是什么banner就是启动Spring Boot项目后，控制台打印的横幅，如图二、如何修改修改时只需要在Spring Boot项目的resources文件夹下面创建一个banner.txt文件，Spring Boot启动的时候会去加载这个文件以zhangz1的一个banner为例 _ _ ___| |__ __ _ _ __ __ _ ___/ ||_ / '_ \ / _` | '_ \ / _` |_

2022-01-19 16:36:56 2291

原创 Intellij IDEA 2021.3搭建Spring Boot项目

前言Spring Boot介绍使用SpringBoot可以让你快速搭建一个SpringWeb项目，它使用“习惯优于配置”的理念让你的项目快速运行起来。使用SpringBoot可以很容易创建一个独立运行（运行jar，内嵌Servlet容器）、准生产级别的基于Spring框架的项目。使用Spring Boot你可以不用或者是很少的配置。使用SpringBoot的优点：快速构建项；对主流开发框架的无配罝集成；项目可独立运行，无须外部依赖Servlet容器；提供运行时的应用监控；极大地提髙了开发、

2022-01-19 16:02:00 6465

原创 Spark RDD编程

一、实验目的：1.熟悉 Spark RDD的基本操作。2.熟悉使用RDD编程解决具体问题的方法。二、实验内容和要求：编程实现输出前3个学生的信息、文件中前3个学生的平均分、文件中前3个学生的最高分、文件中前3个学生的平均分、总分数最高的前三名、Scala成绩最高的前3名、Python成绩最高的前3名、Java成绩最高的前3名。未使用Scala或pyshark，仅通过python实现然后在spark中运行py文件三、实验过程：（1）安装Spark，验证Spark是否安装成功启动S

2022-01-07 20:57:54 3055

原创启动mysql提示发生系统错误 2。系统找不到指定的文件。

我用的是免安装版，迁移了mysql的文件夹，然后启动系统就找不到mysql了如果环境变量配置了mysql的话，直接输入命令mysqld remove把mysql卸载了，会提示卸载成功然后再执行安装命令mysqld install，会提示安装成功这时候就正常启动了。ps1：如果没有配置mysql的环境变量的话，则需要cd到mysql的bin目录下，然后执行安装ps2：上述命令在管理员身份运行cmd...

2021-12-21 16:54:09 2152

原创 SSH连接本地VMware搭建的Ubuntu

首先开启虚拟机Linux 中一般会预装 openssh-client ，但是没有安装openssh-server安装 sshsudo apt install ssh查看ip在先输入ipconfig想看ip时提示于是选择安装net-toolssudo apt install net-tools然后参考上面的提示输入ifconfig，得到本地ip地址首次在主机使用 ssh 远程连接其他任何主机，都会提示无法确定远程主机的真实性，会询问是否生成身份密钥，输入yes就ok了..

2021-12-14 14:51:02 1129

原创常用的HDFS操作

首先启动Hadoopstart-all.sh如果出现Starting namenodes on [localhost]localhost: hadoop@localhost: Permission denied (publickey,password).Starting datanodeslocalhost: hadoop@localhost: Permission denied (publickey,password).Starting secondary namenodes [z-vi

2021-12-13 22:20:43 3696

原创浏览器拓展SeleniumIDE+Python+Edge浏览器进行简单的web自动化测试

前言Selenium IDE是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，模拟人工操作。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 Java、Python、JavaScript等不同语言的测试脚本。本篇需要用到的工具：Edge浏览器以及拓展Selenium IDE、PyCharm的selenium模块、Edge浏览器驱

2021-11-03 11:11:34 3578

原创解决Unable to find taglib [s] for URI: [/struts-tags]

在运行struts2框架时出现了这个问题因为之前修改了tomcat里的配置文件，所以导致tomcat让它跳过了tld检查，其实再改回去就好了，详情请点击这里但是改回去仍会像之前那样报红这里还有一种解决方案就是把struts2-core-2.5.26.jar包下META-INF里的struts-tags.tld复制到WEB-INF目录下，如图，这样就不会报错了...

2021-10-23 16:20:29 1589 2

原创通过IntelliJ IDEA进行JUnit4单元测试

1.下载插件File->settings->Plguins->选择JUnit Generator V2.0安装。2.下载jar包官网传送门导入jar包的过程就不赘述了3.单元测试以加减乘除类为例Calculate.javapackage Main;/* * Calculate.java * 2021-10-14 22:23 * */public class Calculate { public int add(int a, int b

2021-10-14 22:59:48 664

原创记-在用IntelliJ IDEA搭建Struts2框架时遇到的一些问题

一、org.apache.catalina.core.StandardContext.filterStart 启动过滤器异常这个问题已经困我很多天了，为此我也浪费了很多时间和精力，也尝试了Netbeans和eclipse，但是因为不熟悉两款软件，最终让我不想继续尝试，我就继续钻研idea的问题。本来之前电脑里的tomcat什么的都是比较稳定的版本（就是老版本），然而暑假因为重置了电脑，所以这些东西都不在了，我就重新装了一下，因为比较喜欢新的，所以直接全部都下载了最新的版本，下的是tomcat10，但是在搭

2021-10-12 20:49:05 2396

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

CSDN_张子