自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(23)
  • 收藏
  • 关注

原创 Idea新建maven项目时卡死

配置maven时直接配置archetypeCatalog (一劳永逸)-DarchetypeCatalog=internal

2022-05-08 11:41:05 2542 3

原创 xshell 连接本地虚拟机很慢解决方法

因为在使用shell连接虚拟机时连接等待时长太长,ssh的服务端在连接时会自动检测dns环境是否一致导致的,修改为不检测即可。1.执行vi /etc/ssh/sshd_config把UseDNS yes,改为UseDNS no2.重启SSHD服务systemctl restart sshd 或 service sshd restart...

2022-05-08 11:19:40 2280

原创 报错Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState‘

解决办法:pom文件org.apache.hadoophadoop-client2.6.0该为对应的版本我2.7.3改为2.6.0就解决了Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState': at org.apache.spark.sql.SparkSession$.org$a

2022-03-27 16:34:32 1667

原创 Zookeeper

第1章 Zookeeper概述1.1 概述Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Master/Slave管理模式Zookeeper=文件系统(可以在zk上存储数据)+通知机制1.2

2022-03-16 09:43:44 286

原创 Sqoop

Sqoop一、 Sqoop安装\1) 将Sqoop安装包上传到虚拟机并进行解压:[root@cent71 module]# tar -zxf sqoop-1.4.7.tar.gz -C /opt/software/\2) 修改配置文件sqoop-env.sh:[root@cent71 conf]# cp sqoop-env-template.sh sqoop-env.sh#Set path to where bin/hadoop is availableexport HA

2022-03-15 21:24:41 1139

原创 Kafka的原理及安装

Kafka的原理及安装1. Kafka原理2. Kafka安装\1) 上传到虚拟机,解压:[root@cent71 module]# tar -zxf kafka_2.11-0.10.2.2.tgz.gz -C /opt/software/\2) 在安装目录下新建logs文件夹:[root@cent71 kafka_2.11-0.10.2.2]# mkdir logs\3) 修改配置文件config/server.properties:#broker的全局唯一

2022-03-15 21:23:25 1056

原创 大数据mysql+hive搭建

1 ‘ Mysql安装1.1 安装包准备1. 查看mysql是否安装,如果安装了,卸载mysql(1) 查看是否已经安装过mysql的相应包# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64(2) 卸载# rpm –e --nodeps mysql-libs-5.1.73-7.el6.x86_642. 安装zip工具:#yum install

2022-03-15 21:12:04 2657

原创 HBase安装

1 HBase安装1.1 HBase基本原理见PPT。1.2 HBase安装1 解压[root@cent71 module]# tar -zxf hbase-1.3.2-bin.tar.gz -C /opt/software/2 修改hbase-env.sh文件:export JAVA_HOME=/opt/software/jdk1.8.0_152export HBASE_MANAGES_ZK=false3 修改hbase-site.x

2022-03-15 21:10:04 677

原创 Flume的原理及安装(日志采集工具)

Flume的原理及安装(日志采集工具)1 Flume原理[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QbVOiE72-1647349435640)(file:///C:/Users/MEETAG~1/AppData/Local/Temp/msohtmlclip1/01/clip_image002.jpg)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xSm5FZ6d-1647349435641)(file:///C:/Users

2022-03-15 21:04:43 1128

原创 Hadoop大数据平台搭建课程笔记

课程介绍大数据基本介绍4V特征体量大:体量庞大高速:数据产生速度快、存储速度快、处理速度快多样化:数据的种类和来源多样化。结构化、非结构化、半结构化数据价值:密度低。体量庞大,有价值的数据相对来讲比较少Hadoop平台特点低成本、高可靠性、高效性、可扩展性课程所需环境Vmware+CentOS7注意:本门课程的Linux系统与其他课程分开XShell、SecureCRT:连接虚拟机,进行指令操作winSCP:在Windows和Linux之间进行文件传输notePad++:文本编辑

2022-03-15 21:02:45 1659

原创 hive数据仓库

数据仓库-Hive数据仓库1.1. 基本概念英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。数据仓库是存数据的,企业的各种数据往里面存,主要目的是为了分析有效数据,后续会基于它产出供分析挖掘的数据,或者数据应用需要的数据,如企业的分析性报告和各类报表等。可以理解为:面向分析的存储系统。1.2. 主要特征数据仓库是面向主题的(Subject-Oriented )、集成的(Integ

2022-03-15 20:54:34 3258

原创 git入门

git入门

2022-03-15 20:51:05 72

原创 java-学生成绩管理系统-附代码

大一写的,今天整理资料翻到了,仅作纪念。《学生成绩管理系统》一、学生成绩管理系统实现环境:JDK1.8,ECLIPSE 4.4.2;二、功能:0、成绩管理系统的界面实图1、录入10个学生信息(学号、姓名、性别、各门课程成绩)输出10个学生信息。2、计算每个学生高数、英语、java课程的总成绩和平均成绩并输出、计算各门课程的总成绩和平均成绩并输出。3:排序,根据学生的总成绩按降序排列,并输出排序后的结果。4:分别输出高数、英语、Java课程不及格学生的人数、不及格学生的信息。5:根据给

2022-03-15 20:46:15 10712 6

原创 HTML基础概述

大一学的HTML概述、今日整理资料翻到了,仅供参考。曾几何时,我百度了无数个问题,无数个人给了我帮助,非常感谢。

2022-03-15 20:34:50 83

原创 Spark编程之基本的RDD算子之zip,zipPartitions,zipWithIndex,zipWithUniqueId

Spark编程之基本的RDD算子之zip,zipPartitions,zipWithIndex,zipWithUniqueId1) zip拉链操作首先来看一下基本的api。def zip[U: ClassTag](other: RDD[U]): RDD[(T, U)]1自身的RDD的值的类型为T类型,另一个RDD的值的类型为U类型。zip操作将这两个值连接在一起。构成一个元祖值。RDD的值的类型为元祖。都是第i个值和第i个值进行连接。zip函数用于将两个RDD组合成Key/Value形式

2021-11-17 10:10:02 784

转载 单例模式的五种实现方式(饿汉式、懒汉式、DCL懒汉式、静态内部类式、枚举单例)、优缺点比较

单例模式原文链接:https://www.kuangstudy.com/bbs/1374623824745635841单例模式(Singleton Pattern)是 Java 中最简单的设计模式之一。这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类,该类负责创建自己的对象,同时确保只有单个对象被创建。这个类提供了一种访问其唯一的对象的方式,可以直接访问,不需要实例化该类的对象。注意:1、单例类只能有一个实例。2、单例类必须自己创建自己的唯一实例。

2021-11-17 10:06:15 956

原创 解决mybatis属性名和列名不一致的问题

问题描述:属性名称和数据库中的字段名称不一致,查询出来的结果为nullJava中的实体类设计:public class User { private int id; //id private String name; //姓名 private String password; //密码和数据库不一样! //构造 //set/get //toString()}数据库中的表设计:create table `user`( `id` IN

2021-11-17 09:55:30 525

原创 Xshell中vim编辑时,数字小键盘不能用、查看文件乱码解决办法

问题:后台开发人员经常使用Xshell来访问远程服务器,在用vim(或vi)编辑文件的时,使用小键盘数字键的时候,可能会输入一堆字母和换行,并不是数字。修改:1.修改会话属性[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jhQ0BjfL-1621928102680)(C:\Users\MeetAgain\AppData\Roaming\Typora\typora-user-images\image-20210525153251198.png)]2.选择类别“终端”

2021-11-17 09:33:48 2120

原创 MapReduce 缓存文件

BufferedReader bufferedReader = new BufferedReader(new FileReader("文件名")) // 指定需要缓存一个文件到所有的maptask运行节点工作目录 /* job.addArchiveToClassPath(archive); */// 缓存jar包到task运行节点的classpath中 /* job.addFileToClassPath(file); */// 缓存普通文件到task运行...

2021-05-17 11:08:06 295

原创 Spark算子

Spark的算子的分类从大方向来说,Spark 算子大致可以分为以下两类:1)Transformation 变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理。Transformation 操作是延迟计算的,也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行,需要等到有 Action 操作的时候才会真正触发运算。2)Action 行动算子:这类算子会触发 SparkContext 提交 Job 作业。Action 算子会触发 Spark 提交作业(Job),并将数据.

2021-04-26 14:43:11 269

转载 IntelliJ IDEA2021.1 配置大全

文章目录一:IDEA常用配置常用工具栏显示更改idea主题设置代码编辑器主题风格设置背景颜色为豆沙绿设置背景图关闭Intellij IDEA自动更新设置最近打开的项目及窗口打开方式(按需修改)自动编译(可设置全局)全局JDK配置tab页面多行显示的设置行号显示和方法间的分隔符设置忽略大小写提示修改代码中注释的字体颜色快捷键设置为跟Eclipse一样设置编辑器字体大小文件编码的设置(可以设置全局编码)鼠标滚轮调整代码文字大小自动导包和优化生成类注释模板(全局)生

2021-04-24 21:36:19 1631

原创 Eclipse配置tomcat

配置Tomcat1.打开Eclipse,Window–>Preference–>Server–>Runtime Environments–>Add2.选择相应的tomcat版本,本文以tomcat-9.0.43为例 选择Apache Tomcat v8.0,点击Next3.配置好Tomcat名和Tomcat路径,点击finish4.在Eclipse控制台显示Servers没有Servers的请点击Other找到Server–>Servers5.在点击蓝字或空

2021-03-11 22:23:59 295

原创 Tomcat提示指定的服务未安装Unable to open the service ‘tomcat‘

Tomcat提示指定的服务未安装Unable to open the service ‘tomcat’解压tomcat后运行Tomcat9w.exe报错。报错如图,其原因是部分已安装的组件没有以服务的方式存在。下面就是解决办法:1找到tomcat的安装路径进入bin目录下,并在此执行CMD2运行CMD后输入如下所示内容即可:service.bat install![在这里插入图片描述](https://img-blog.csdnimg.cn/20210311205404396.png?x-

2021-03-11 20:58:15 3025 5

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除