自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(51)
  • 收藏
  • 关注

原创 tomcat+nginx配置ssl 部署的项目的一些问题

问题列表提交报403tomcat中文乱码微信小程序无法使用http,所以在nginx处配置了ssl,并转发给tomcat。提交报403解决办法:https://blog.csdn.net/qq_27114677/article/details/77848078tomcat中文乱码把conf目录下的logging.properties文件中的utf-8改成 GBK...

2020-12-10 14:05:14 188

原创 tomcat服务器部署项目报跨域问题

前言: 项目部署在阿里云的服务器的tomcat上,浏览器访问由nginx转发到tomcat服务器。一开始我是在本地idea里面运行,然后在浏览器上测试没有任何问题,但一放到tomcat上运行用https访问就报跨域(因为需要使用到小程序,所以必须得用https),然后找了许久才找到解决办法。解决方法如下:文章目录在tomcat的 web.xml 文件里边加上跨域支持然后再把以下两个jar包放到tomcat的lib目录下最后重启tomcat就可以在tomcat的 web.xml 文件里边加上跨域支持.

2020-11-19 13:23:53 1692

原创 MySQL的一些常用命令

MySQL的一些常用命令MySQL服务启动:MySQL服务停止:登录MySQL数据库:创建数据库:查看数据库:查看某个数据库的定义的信息:删除数据库:查看正在使用的数据库:切换数据库:创建表:查看表:查看数据库中的所有表:查看表结构:删除表:修改表结构:插入表记录:insertMySQL服务启动: net stop mysqlMySQL服务停止: net start mysql登录MySQL数据库:格式一: mysql -u用户名 -p密码格式二: mysql --host=ip地址

2020-11-12 14:06:18 186

原创 idea引入本地class类报错

idea引入本地class类报错此问题是idea给我缓存了错误的项目信息,把缓存清理并重启idea就好了。

2020-11-12 13:46:42 1510 1

原创 vscode创建的vue项目只有package.json和README.md两个文件

前言:因为本人是个前端新手,第一次遇到这个问题,也不知道具体是什么原因,但我自己操作了一下,可以用了。如果只想如何能让项目跑起来,如果不纠结原因的话可以往下继续看。大佬看到了知道是什么问题跟我说一下,万分感谢!!!问题具体问题我不多说,直接贴图。处理终端操作进入vue文件夹,输入npm install后回车然后就会多出个node_modules的文件夹然后直接在vue这个目录下创建vue项目创建完成然后进入刚创建的项目下执行npm install执行完后直接启动项目就可以.

2020-10-29 17:56:32 2412 5

原创 Java开发常用设计模式

Java开发常用设计模式  设计模式(Design pattern) 代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。  设计模式是一套被反复使用的、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了重用代码、让代码更容易被他人理解、保证代码可靠性。...

2020-07-30 15:03:04 210

原创 Java-数组

Java-数组数组概述数组元素的访问数组内存图与数据存储原理Java中的内存分配数组遍历空指针异常数组索引越界异常数组概述数组是存储多个变量(元素)的容器这多个变量的数据类型要一致数组定义格式格式一:// 数据类型[] 数组名 = new 数据类型[元素个数或数组长度];int[] arr = new int[5];格式二:// 数据类型[] 数组名 = {元素值1,元素值2,元素值3,...};int[] arr = {20,5,100,30,5}还有其他格式如下:int[]

2020-06-26 20:37:07 145

原创 Java流程控制

Java流程控制结构分类顺序结构选择结构循环结构单分支结构双分支结构switch多分支结构for循环while循环do...while循环breakcontinuereturn结构分类顺序结构  是程序中最简单最基本的流程控制,没有特定的语法结构,按照代码的先后顺序,依次执行,程序中大多数的代码都是这样执行的。  写在前面的先执行,写在后面的后执行。选择结构  选择结构也被称为分支结构。  选择结构有特定的语法规则,代码要执行具体的逻辑运算进行判断,逻辑运算的结果有两个,所以产生选择,按照不同

2020-06-26 20:05:08 914

原创 HDFS面试基础知识点

HDFS面试基础知识点HDFS 基本介绍HDFS角色作用简介HDFS分块存储抽象成数据块的好处块缓存HDFS副本机制名字空间(NameSpace)Namenode 功能Datanode功能机架感知HDFS文件读写流程文件写入过程文件读取过程数据完整性掉线时限参数设置DataNode的目录结构一次写入,多次读出常用命令实操HDFS的特性HDFS缺点Fsimage,Edits详解secondarynameNode如何辅助管理FSImage与Edits文件namenode元数据信息多目录配置HDFS 基本介绍

2020-06-18 15:52:23 271

原创 部署大数据集群要先进行哪些操作?

部署大数据集群要先进行哪些操作?Linux集群部署配置多节点无密码登录定时任务时钟同步跟内网某台机器同步时间JDK安装步骤tomcat安装部署mysql的安装部署修改mysql 乱码问题mysql远程连接配置Linux集群部署在虚拟机中实例三个虚拟机主机,三个虚拟主机需要配置IP,且两两之间可以ping通关闭防火墙(需要在所有的主机中进行设置) ​ /etc/init.d/iptables stop ​ chkconfig iptables off关闭selinux

2020-06-10 22:22:57 255

原创 git不是内部或外部命令,也不是可运行的程序 或批处理文件。

报错信息截图当看到这个信息后,我第一反应就是环境变量没配。果然,发现我安装git 的时候选择的是Use Git from Git Bash only, 而没有选use Git from the Windows Command Prompt。前者需要自己配置环境变量,而后者安装好后环境变量就自动配好了的。解决办法配置环境变量配置好后我又试了下结果还是老样子,然后我便cmd进入小黑框输入git --version可以看到版本,说明环境变量没问题,那么就只有idea的问题了然后进入idea,

2020-06-09 21:12:25 15512 5

原创 VI编辑器_终端编辑器

VI编辑器_终端编辑器1 简介学习vi的目的vi 和 vimVIVIM2 打开和新建文件打开文件并且定位行VI三种工作模式末行模式命令3 常用命令学习提示移动1) 上 下 左 右2) 行内移动3) 行数移动4) 屏幕移动移动(程序)1) 段落移动2) 括号切换选中文本(可视模式)撤销和恢复撤销(保命指令)删除文本修改文本复制和剪切替换查找查找并替换插入命令高级命令set 命令1 简介学习vi的目的在工作中, 要对服务器上的 文件进行 简单 的修改, 可以使用 ssh 登录到远程服务器上, 并且使

2020-06-08 22:34:34 276 1

原创 Linux常用命令

Linux常用命令1,终端命令格式 command [-options] [parameter]说明:command :命令名,响应功能的英文单词的缩写[-options] :选项,可用来对命令进行控制,也可以省略parameter :传给命令的参数,可以是零个、一个或者多个2,操作目录(文件夹)的常用命令1.创建文件夹: mkdir 目录名 mkdir -p 目录名...

2020-06-06 23:08:46 209

原创 Linux开机自动挂载镜像

Linux开机自动挂载镜像

2020-06-06 21:15:37 3645 1

原创 SecureCRT全局日志文件设置

SecureCRT全局日志文件设置第一步:选择全局选项第二步:选择默认会话,然后点击编辑默认设置第三步:选择日志文件开始进行设置效果展示第一步:选择全局选项第二步:选择默认会话,然后点击编辑默认设置第三步:选择日志文件开始进行设置1、日志文件名设置X:\xxx\%Y-%M-%D\session-%S-%Y%M%D.log2、勾选以下选项开启半夜启用新日志,配合日志文件名每天都会生成当天日期的文件夹3、自定义日志内容[%Y-%M-%D_%h:%m:%s_START][%Y-%M-

2020-06-06 19:14:20 731

原创 Hive基础知识大全

一、Hive基本概念1.1、Hive简介什么是Hive  Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能(HQL)。  其本质是将SQL转换为MapReduce的任务进行运算,底层由HDFS来提供数据的存储,hive可以理解为一个将SQL转换为MapReduce的任务的工具。为什么使用Hive直接使用hadoop所面临的问题:人员学习成本太高项目周期要求太短MapReduce实现复杂查询逻辑开发难度太大为什么要使用Hive

2020-06-04 18:19:41 431

原创 Oozie的安装与使用

文章目录1、Oozie的介绍2、oozie的架构3、oozie的安装第一步:修改core-site.xml第二步:上传oozie的安装包并解压第三步:解压hadooplibs到与oozie平行的目录第四步:创建libext目录第五步:拷贝依赖包到libext第六步:添加ext-2.2.zip压缩包第七步:修改oozie-site.xml第八步:创建mysql数据库第九步:上传oozie依赖的jar包到hdfs上面去第十步:创建oozie的数据库表第十一步:打包项目,生成war包第十二步:配置oozie的环境

2020-06-02 11:49:06 433

原创 Flume基础知识大全

文章目录前言日志采集框架Flume1 Flume介绍1.1 概述1.2 运行机制1.3 Flume采集系统结构图2 Flume实战案例2.1 Flume接受telent数据第一步:开发配置文件第二步:启动配置文件第三步:安装telent准备测试2.2 采集案例1、采集目录到HDFS2、采集文件到HDFS3、两个agent级联3 更多source和sink组件4 高可用Flum-NG配置案例failover4.1、角色分配4.2、node01安装配置flume与拷贝文件脚本4.3、node02与node03配

2020-06-01 20:25:56 351

原创 Apache Impala基础知识大全

文章目录Apache Impala一、Apache Impala1.Impala基本介绍2.Impala与Hive关系3.Impala与Hive异同4.Impala架构5.Impala查询处理过程二、Impala安装部署1.安装前提2.下载安装包、依赖包3.虚拟机新增磁盘(可选)4.配置本地yum源5.安装Impala6.修改Hadoop、Hive配置7.修改impala配置8.启动、关闭impala服务三、Impala-shell命令参数1.impala-shell外部命令2.impala-shell内部

2020-06-01 18:36:46 448

原创 Apache Hue基础知识大全

文章目录Apache Hue一、Apache Hue介绍1.Hue是什么2.Hue能做什么3.Hue的架构二、Hue的安装1.上传解压安装包2.编译初始化工作2.1.联网安装各种必须的依赖包2.2.Hue初始化配置2.3.创建mysql中Hue使用的DB3.编译Hue4.启动Hue、Web UI访问三、Hue与软件的集成1.Hue集成HDFS2.Hue集成YARN3.Hue集成Hive4.Hue集成Mysql5.Hue集成Oozie6.Hue集成Hbase7.Hue集成ImpalaApache Hue一

2020-06-01 17:06:51 985

原创 Hbase基础知识大全

文章目录1、HBase基本介绍2、HBase与Hadoop的关系3、RDBMS与HBase的对比4、HBase特征简要5、HBase的基础架构6、HBase的集群环境搭建第一步:下载对应的HBase的安装包第二步:压缩包上传并解压第三步:修改配置文件第四步:安装包分发到其他机器第五步:三台机器创建软连接第六步:三台机器添加HBASE_HOME的环境变量第七步:HBase集群启动第七步:页面访问7、HBase常用shell操作8、HBase的高级shell管理命令9、HBase底层原理10、HBase三个重要

2020-05-26 09:45:36 643

原创 kafka知识大全

文章目录1、消息队列的介绍2、Kafka消息队列3、消息队列的应用场景4、消息队列的两种模式1、点对点模式2、发布/订阅模式5、kafka的基本介绍1、kafka的基本介绍2、kafka的好处3、分布式的发布与订阅系统4、kafka的主要应用场景6、kafka的架构介绍7、kafka架构内部细节剖析8、kafka主要组件说明1、kafka当中的producer说明2、kafka当中的topic说明3、kafka当中的partition说明4、kafka当中partition的副本数说明5、kafka当中的s

2020-05-23 23:13:13 357

原创 Structured Streaming基础概述

文章目录第一章 Structured Streaming曲折发展史Spark StreamingStructured Streaming介绍API主要优势编程模型第二章 Structured Streaming实战创建Source读取Socket数据读取目录下文本数据计算操作输出output modeoutput sink第三章 StructuredStreaming与其他技术整合整合Kafka官网介绍整合环境准备整合MySQL简介代码演示第一章 Structured Streaming曲折发展史Spa

2020-05-22 11:00:27 612

原创 Spark Streaming基础概述

文章目录第一章 Spark Streaming引入Spark Streaming介绍实时计算所处的位置第二章 Spark Streaming原理SparkStreaming原理整体流程数据抽象DStream相关操作TransformationsOutput/Action总结第三章 Spark Streaming实战WordCount需求&准备代码演示执行updateStateByKey问题代码演示执行reduceByKeyAndWindow图解代码演示执行统计一定时间内的热门词汇TopN需求代码演示

2020-05-21 21:16:48 415

原创 Spark SQL基础概述

Spark SQL概述Spark SQL官方介绍●官网http://spark.apache.org/sql/Spark SQL是Spark用来处理结构化数据的一个模块。Spark SQL还提供了多种使用方式,包括DataFrames API和Datasets API。但无论是哪种API或者是编程语言,它们都是基于同样的执行引擎,因此你可以在不同的API之间随意切换,它们各有各的特点。●Spark SQL 的特点1.易整合可以使用java、scala、python、R等语言的API操作。2

2020-05-19 22:31:41 336

原创 Hive函数大全

hive函数大全一、关系运算:1. 等值比较: =2. 不等值比较: <>3. 小于比较: <4. 小于等于比较: <=5. 大于比较: >6. 大于等于比较: >=7. 空值判断: IS NULL8. 非空判断: IS NOT NULL9. LIKE比较: LIKE10. JAVA的LIKE操作: RLIKE11. REGEXP操作: REGEXP二、数学运算:1. 加法操作: +2. 减法操作: -3. 乘法操作: *4. 除法操作: /5. 取余操作: %6. 位与

2020-05-19 20:17:01 150

原创 Spark Core基础概述

RDD详解1.1. 什么是RDD●为什么要有RDD?在许多迭代式算法(比如机器学习、图算法等)和交互式数据挖掘中,不同计算阶段之间会重用中间结果,即一个阶段的输出结果会作为下一个阶段的输入。但是,之前的MapReduce框架采用非循环式的数据流模型,把中间结果写入到HDFS中,带来了大量的数据复制、磁盘IO和序列化开销。且这些框架只能支持一些特定的计算模式(map/reduce),并没有提供一种通用的数据抽象。AMP实验室发表的一篇关于RDD的论文:《Resilient Distributed Da

2020-05-18 22:34:58 303

原创 Spark介绍和安装

Spark基本介绍Apache Spark官方介绍:http://spark.apache.org/Apache Spark 官方文档中文版:http://spark.apachecn.org/#/Apache Spark是用于大规模数据处理的统一分析引擎。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量硬件...

2020-04-22 21:37:04 334

原创 Spark基础

Spark基础什么是Spark基于内存的,用于大规模数据处理(离线计算、实时计算、快速查询(交互式查询))的统一分析引擎。Spark特点快: Spark计算速度是MapReduce计算速度的10-100倍易用:(算法多)MR支持1种计算模型,Spsark支持更多的计算模型。通用: Spark 能够进行离线计算、交互式查询(快速查询)、实时计算、机器学习、图计算等兼容性: Spark支...

2020-04-20 17:19:48 877 5

原创 Scala-数组

Scala定义数组Scala中有两种数组,一种是定长数组,另一种是变长数组。数组的泛型使用[]来指定,使用()来获取元素。定长数组数组长度不允许改变数组的元素可以改变语法:// 通过指定长度定义数组val/var 变量名 = new Array[元素类型] (数组长度)// 用元素直接初始化数组val/var 变量名 = Array(元素1,元素2,元素3,……)变...

2020-04-15 20:47:31 160

原创 Scala-trait(特质)

文章目录Trait(特质)Trait作为接口使用1、继承单个trait2、继承多个trait3、object继承traittrait定义具体的方法trait中定义具体的字段和抽象的字段使用trait实现模板模式对象混入traittrait实现调用链模式trait继承classTrait(特质)Scala中没有Java中的接口(interface),但有trait(特质)可以替代,且功能要比接...

2020-03-31 09:45:28 393

原创 Scala-抽象类

抽象类如果类的某个成员在当前类中的定义是不包含完整的,它就是一个抽象类不完整定义有两种情况:方法没有方法体(抽象方法)变量没有初始化(抽象字段)定义抽象类和Java一样,在类前面加上abstract关键字// 定义抽象类abstract class 抽象类名 {// 定义抽象字段val 抽象字段名:类型// 定义抽象方法def 方法名(参数:参数类型,参数:参数类型…)...

2020-03-30 16:38:14 146

原创 Yarn基础知识

1、什么是Yarn通用资源管理系统和调度平台2、Yarn特点:1、支持多计算框架2、资源利用率高,运行成本低,数据共享。3、Yarn的意义:降低了企业硬件的成本(多个集群变成一个集群),减少了资源的了浪费,运营成本低。4、Yarn基本组成ResourceManager :一个集群资源调度的管理者NodeManager :一个节点资源调度的管理者(集群各个节点资源的工作者)A...

2020-03-24 16:38:55 293

原创 redis的常用命令

字符串操作必须掌握操作命令添加字符串set hello world设置多个KVmset AA AAA BB BBB CC CCC设置过期时间setex hello1 5 word1查询字符串get hello查询多keymget hello hello2 hello3查询长度strlen hello修改字符串set ...

2020-03-24 16:34:17 131

原创 redis基础知识

1、什么是redisRedis是一个基于内存的使用C语言编写的key-value开源的NOSQL存储系统。不支持SQL语句。2、Redis持久化数据的方式有哪些1、RDB 触发式的序列化Save 5 2 (5秒钟 有两个动作便会触发序列化)2、AOF 日志形式的序列化默认:一秒钟存储一次3、解决IT行业数据读取瓶颈的终极方案读写分离4、Redis如何实现读写分离?R...

2020-03-24 16:23:51 94

原创 kafka基础知识

1、什么是kafkaKafka是一个高吞吐量,分布式,分区的,多副本的,多订阅者的的发布订阅消息系统。2、kafka的使用场景应用耦合、异步处理、限流削峰、消息驱动的系统3、kafka优缺点优点:可靠性强(分布式-分区-副本)、扩展性强(可伸缩)、性能高(数据读写)、耐用性强(数据持久化)、时效性强。缺点:由于是批量发送,数据并非真正的实时。仅支持统一分区内消息有序,无法实现全局消息...

2020-03-24 15:27:18 249

原创 CentOS 6 配置静态IP地址

第一步:查看虚拟机唯一标识(MAC地址)

2020-03-12 17:35:44 461 1

原创 Scala-方法

方法方法定义定义方法返回值类型推断方法参数默认参数带名参数变长参数方法调用方式操作符即方法花括号调用法无括号调用法方法定义一个类可以有自己的方法,scala中的方法和Java方法类似。但scala与Java定义方法的语法是不一样的。定义方法语法def methodName (参数名:参数类型, 参数名:参数类型) : [return type] = { // 方法体:一系列的代码...

2020-02-16 17:11:39 859

原创 Scala- break和continue

break和continue在scala中,类似Java和C++的break/continue关键字被移除了如果一定要使用break/continue,就需要使用scala.util.control包的Break类的breable和break方法。实现break用法导入Breaks包import scala.util.control.Breaks._使用breakable将for...

2020-02-16 15:00:09 124

原创 Scala-循环

循环在scala中,可以使用for和while,但一般推荐使用for表达式,因为for表达式语法更简洁for表达式语法:for(i <- 表达式/数组/集合) { // 表达式}简单循环使用for表达式打印1-10的数字步骤生成1-10的数字(提示:使用to方法)使用for表达式遍历,打印每个数字参考代码1scala> val nums = 1.t...

2020-02-16 14:53:59 156

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除