- 博客(38)
- 收藏
- 关注
RSS订阅原创 工具安装手册
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-G1IvjPrJ-1664417142738)(C:\Users\18741\AppData\Roaming\Typora\typora-user-images\image-20220516155333601.png)]中使用以下命令进入到D:\software\MySQL\mysql-5.7.28-winx64目录下，输入如下命令安装数据库。双击安装包，安装JDK。在弹出界面中，选择JRE的安装位置，点击下一步完成安装。
2022-09-29 10:06:07
444
1
原创 Spring Boot 框架
Logback是由log4j创始人设计的又一个开源日志组件。目前，logback分为三个模块：logback-core，logback-classic和logback-access。是对log4j日志展示进一步改进。
2022-09-29 10:05:18
338
原创 keytool命令
命令解读-alias别名ynhr-keyalg算法RSA-keysize密码长度1024-keypass私钥访问密码123456-validity有效期36500天-keystore名称-storepasskeystone文件访问密码123456命令执行完毕后，在目录下就会生成对应的test.keystore文件。.........
2022-07-25 15:17:17
2614
原创 IDEA使用总结
File - New - Project From Existing Sources选中项目中的pom.xml点击OK，然后后面就一路 Next 直到 finish就行了配置项目的jdk和mavenjdk配置 — File - Project Structure — Projectmaven配置 — settings — Build — Build Tools — Maven使用idea新建maven工程，maven的仓库一直是默认c盘自带的仓库，想使用自己的仓库就需要每次都去修改File — Other
2022-07-12 17:06:52
168
原创 Springboot知识点小结
Springboot项目热部署一、引入依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <optional>true</optional><!-- 防止将devtools依赖传递到其他模块中 --></dependenc
2022-03-25 14:48:15
1390
原创 License文档
License学习文档一、简介License，即版权许可证，一般用于收费软件给付费用户提供的访问许可证明。根据应用部署位置的不同，一般可以分为以下两种情况讨论：应用部署在开发者自己的云服务器上。这种情况下用户通过账号登录的形式远程访问，因此只需要在账号登录的时候校验目标账号的有效期、访问权限等信息即可。应用部署在客户的内网环境。因为这种情况开发者无法控制客户的网络环境，也不能保证应用所在服务器可以访问外网，因此通常的做法是使用服务器许可文件，在应用启动的时候加载证书，然后在登录或者其他关键操作的地
2021-09-24 10:12:46
3996
原创 SVN版本控制工具
SVN版本控制工具一、SVN概述SVN版本控制工具可以帮助我们解决那些问题：SVN是subversion的缩写。SVN用于管理整个开发过程中的源码，用于版本控制。二、SVN的简单应用SVN是基于服务器和客户端的这种模式的，其基本原理如下：svn从服务器上下载代码，一个是checkout，一个是update。checkout：首次连接服务器仓库时，需要把服务器上的代码同步到本地；update：后续想要从服务器上下载代码，执行更新操作，检出只做一次，后续都是更新。commit：项目中的源代
2021-03-19 16:34:11
607
原创 从本地Excel文件下载数据
Excel文件的下载下载本地系统中的Excel文件，具体步骤如下所示：public void getFiles(){ //获取存放要下载的文件路径 String path = "C:\\temp"; //下载此文件路径下的所有文件 InputStream in = null; File files = new File(path); File[] listFiles = files.listFiles(); if(listFiles !=
2020-11-04 10:18:22
427
原创 数据库数据导出到Excel
数据库数据导出到Excel从数据库中获取数据，使用java建立一个新建Excel，添加表头，并将数据存储到Excel表格中的对应位置上。public String loadDateToExcel（String workFlowNumber）{ //根据查询条件，从数据库中查询数据 List<Traccount> traccounts = traccount.findByWorkFlowNumber(workFlowNumber); //创建xlsx文件格式对象，xls
2020-11-03 10:45:16
1293
原创 获取Excel单元格存储日期格式数据
获取Excel单元格存储日期格式数据在使用java获取Excel单元格中数据时，如果单元格数据为日期格式，直接使用cell.getValue()获取单元格的值，获取到的值为一个数字乱码，可以使用以下方法进行数据格式的转换后，再进行数据的获取。public String dealCellDate（XssfCell cell）{ Date date = cell.getDateCellValue(); SimpleDateFormat sdf = new SimpleDateFormat("
2020-10-29 19:46:38
1113
原创 读取Excel表中的数据到数据库中
读取Excel表中的数据到数据库中1、在Controller层构建一个接口接口内容如下：//存放要加载数据的excel的位置，最好写在Springboot的配置文件，在方法内直接使用@Value注解调用String fileUrl = "C://temp//temp.xlsx";//构建文件输入流InputStream in = null;try{ in = new FileInputStream(new File(fileUrl)); loadExcelToDatabaseService
2020-10-14 18:06:00
831
原创 Git的简单应用
Git的使用一、Git使用总体流程名词解释如下：Workspace：工作区Index / Stage：暂存区Repository：仓库区（或本地仓库）Remote：远程仓库commit：提交push：推送二、在eclipse中使用方式更改项目中的内容时Git的提交过程：1.在eclipse中打开项目本地存储位置 选中项目，shift+alt+w，选择System Explorer2.在每次提交推送之前，先拉取一次项目，保证项目中数据的一致性3.在本地项目中，右键，Git提交
2020-10-13 09:58:05
65
原创 AJAX
AJAX一、概念Ajax即异步的Javascript和XML，是一种用于快速创建动态网页的技术。在无需加载整个网页的情况下，能够更新部分网页的技术。同步请求和异步请求的区别1.同步请求：传统的请求方式（超链接，地址栏，表单提交，location.href） 特点：整张网页刷新。2.异步请求：Ajax技术 特点：多个事件同时发生，且互不影响，页面局部刷新。二、Ajax编程1.xhr核心对象① 屏蔽浏览器差异：var xhr;if(window.XMLHttpRequest){
2020-07-05 15:55:29
390
原创 分布式文件系统FastDFS
分布式文件系统FastDFS文件系统概述分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。文件系统分类①块存储：MongoDB数据库中的GridFS、Hadoop中的HDFS，这些系统在存储文件的的时候会尝试先将文件打碎存储（拆分成Data Block）。这样存储的优点可以存储超大型文件，...
2020-03-31 22:36:38
263
原创 EasyUI的使用
EasyUI的使用构建前端测试项目引入依赖<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.5.RELEASE&...
2020-03-31 22:34:14
529
原创 使用Springboot完成web项目后端开发
SpringBoot项目后端开发流程导入依赖<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.5.RELEASE&...
2020-03-31 22:33:22
511
原创 Mysql 主从复制读写分离
Mysql 主从复制读写分离主从复制根据需要搭建一主两从的 mysql 集群配置，首先我们需要三台虚拟机并且都安装mysql查看机器中是否有mysql服务[root@centos ~]# systemctl status mysqld修改mysql的配置文件[root@localhost mysql]# vim /etc/my.cnf分别在配置文件中加入如下配置//注意保证每个...
2020-03-19 11:00:21
116
原创 Springboot集成redis实现Mybatis的二级缓存
Springboot集成redis实现Mybatis的二级缓存二级缓存的作用范围为当前的namespace，如果为两张表的二级缓存，可以使用导入依赖<!--Stringboot集成redis--><dependency> <groupId>org.springframework.boot</groupId> <artif...
2020-03-19 10:59:35
212
原创 Flink的窗口计算（章节四）
Flink的窗口计算（章节四）windows介绍窗⼝计算是流计算的核⼼，窗⼝将流数据切分成有限⼤⼩的“buckets”，我们可以对这个“buckets”中的有限数据做运算。在Flink中整体将窗⼝计算按分为两⼤类：keyedstream窗⼝、datastream窗⼝,以下是代码结构：Keyed Windowsstream .keyBy(...) <- keyed versus ...
2020-03-13 21:53:04
1371
1
原创 Flink的数据流输入，转换，输出（章节二）
Flink的使用（章节二）程序部署本地执行//1.创建流计算执⾏环境val env = StreamExecutionEnvironment.createLocalEnvironment(3) //指定代码并行度//2.创建DataStream - 细化val text = env.socketTextStream("CentOS", 9999)//3.执⾏DataStream的转...
2020-03-06 19:27:37
1895
原创 Apache Flink概述与安装（章节一）
Apache FlinkFlink是构建在数据流之上的有状态计算的流计算框架，通常被人们理解为第三代大数据分析方案。第⼀代 - Hadoop的MapReduce计算 (2006)（静态）、Storm流计算（2014.9） ；两套独⽴计算引擎，使⽤难度⼤，吞吐量小，但计算相对较快。第⼆代 - Spark RDD 静态批处理(2014.2)、DStream|Structured Streamin...
2020-03-04 21:18:28
207
原创 Structured Stream结构化流
Structured Stream概述Structured Stream是基于Spark SQL引擎构建的可伸缩且容错的流处理引擎。使得⽤户可以像使⽤Spark SQL操作静态批处理计算⼀样使⽤Structured Stream的SQL操作流计算。当流数据继续到达时，Spark SQL引擎将负责递增地，连续地运⾏它并更新最终结果。使⽤ Dataset/DataFrame API 实现对实时数...
2020-03-03 20:31:13
401
原创 SparkSQL（章节四）
SparkSQL的API（章节四）Spark SQL是⽤于结构化数据处理的⼀个模块。同Spark RDD 不同地⽅在于Spark SQL的API可以给Spark计算引擎提供更多地 信息，例如:数据结构、计算算⼦等。在内部Spark可以通过这些信息有针对对任务做优化和调整。这⾥有⼏种⽅式和Spark SQL进⾏交互，例如Dataset API和SQL等，这两种API可以混合使⽤。Spark SQL...
2020-02-27 10:28:40
345
原创 RDD进阶（章节三）
RDD进阶（章节三）分析WordCountsc.textFile("hdfs:///demo/words/t_word") //RDD0 .flatMap(_.split(" ")) //RDD1 .map((_,1)) //RDD2 .reduceByKey(_+_) //RDD3 finalRDD .collect //Array 任务提交RDD都有哪...
2020-02-21 20:18:35
143
原创 Spark RDD (章节二)
Spark RDD (章节二)Apache Spark常见问题解答Spark与Apache Hadoop有何关系？Spark是与Hadoop数据兼容的快速通用处理引擎。它可以通过YARN或Spark的独立模式在Hadoop群集中运行，并且可以处理HDFS，HBase，Cassandra，Hive和任何Hadoop InputFormat中的数据。它旨在执行批处理（类似于MapReduce）和...
2020-02-20 17:45:25
251
原创 Spark的架构概述（章节一）
Spark的架构概述（章节一）背景介绍Spark是一个快如闪电的统一分析引擎（计算框架）用于大规模数据集的处理。Spark在做数据的批处理计算，计算性能大约是Hadoop MapReduce的10~100倍，因为Spark使用比较先进的基于DAG 任务调度（有向无环计算），可以将一个任务拆分成若干个阶段，然后将这些阶段分批次交给集群计算节点处理。mapreduce计算分为两步，map阶段和...
2020-02-17 21:51:26
200
原创 Scala的集合算子
集合算子Scala集合提供了丰富的计算算⼦，⽤于实现集合/数组的计算，这些计算⼦⼀般针对于List、Array、Set、Map、Range、Vector、Iterator等都可以适⽤。排序① sortedscala> var a = Array(1,3,4,2,5)a: Array[Int] = Array(1, 3, 4, 2, 5)scala> a.sorted//指...
2020-02-16 12:00:46
867
原创 Scala的泛型和集合
泛型（看懂）<: 上边界限定先定义类，Animal，Dog（继承Animal），SmallDog（继承Dog）//只能饲养Dog或者Dog的⼦类 上边界限定def keepDog[T <: Dog](t:T):Unit={ println(t)}def main(args: Array[String]): Unit = { val animal = new ...
2020-02-16 11:25:11
587
原创 scala的可见性，隐式值以及异常处理
可见性（了解）publicscala中没有public关键字，scala类和属性都是默认公开的。private修饰属性和方法class Student02 { private var id:Int=_ var name:String=_ def this(id:Int,name:String){ this() this.id=id...
2020-02-16 10:52:39
233
原创 Scala的函数和类
函数函数声明def 函数名(参数:参数类型...)[:返回值类型]{ //方法实现}标准函数def sum(x:Int,y:Int):Int={ return x+y} 等价于def sum(x:Int,y:Int)={ x+y}scala可以自动推断返回值类型，如果省略返回值类型，return也必须省略。可变长参数def sum...
2020-02-16 10:19:48
130
原创 Scala的变量，数组，元组和分支循环
变量Scala语言中没有原始数据类型，这一点和Java语言不同，在Scala中一切且对象。以下是Scala语言中常见类型和类型间的继承关系。在Java中常见的基本类型在Scala中都被剔除了,Scala将值类型和引用类型分离。所有的数值变量类型都是 AnyVal的子类，这些变量的值都有字面值。对于一些对象类型的变量都是 AnyRef的子类。对于 AnyRef类下的变量（除String类型），...
2020-02-16 09:15:34
288
原创 Scala的概念和安装
Scala是一门多范式的编程语言，同时支持面向对象和面向函数式编程风格。虽然它是强静态类型的编程语言，但是他强大的类型推断能力，使其看起来像一个动态编程语言一样。Scala语言最终会被翻译成java字节码文件，可以无缝和JVM集成，并且可以使用Scala调用Java的代码库。除了Scala编程语言自身的特性以外，目前比较流行的Spark计算框架也是使用Scala语言编写。Spark 和 Scala...
2020-02-16 09:11:43
109
原创 hbase-handler解决hive冲突
hbase-handler解决hive冲突将hive中的数据转移到hbase时会产生jar包冲突。7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,\N,207499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,307521,WARD,SALESMAN,7698,1981-02-22 00:00...
2020-02-10 08:35:49
234
原创 Sqoop工具的使用
Sqoopsqoop理解(sqoop站在Hdfs角度)Sqoop是一个能够在hadoop的结构化数据库和传统的关系型数据库之间进行高效批量数据传输的工具，通过内嵌的mapreduce程序实现关系型数据库和hdfs，hive和hbase之间数据的输入和输出。sqoop安装1、访问sqoop的⽹址http://sqoop.apache.org/，选择相应的sqoop版本下载，本案例选择下载的...
2020-02-10 08:27:13
151
原创 flume日志采集
flume.apache.orgflume概念解析Flume是一种分布式的，能够有效地收集，聚合和移动大量日志数据的工具。flume有着可靠的故障转移和恢复机制，具有强大的容错性。flume有两个版本,Flume-og和Flume-ng，本次使用的是apache-flume-1.9.0-bin.tar.gz。Flume架构Ageng是最小的日志收集单元，所谓flume的日志采集是...
2020-02-06 21:40:14
1413
原创 大数据 Hive
Hive一. 概述Hive是一个基于hadoop的数据仓库工具，可以用来进行数据的提取转换加载（ETL），Hive将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为mapreduce任务进行执行。Hive并不是为联机事务而设计，并不提供实时的查询和基于行级的数据更新操作，Hive最佳的使用场所是大数据集的批处理作业。用户生成SQL脚本，进入Hive...
2020-01-09 20:43:44
278
原创 大数据 Hbase
HBase一：hbase的理解HBase：是一个基于hadoop的分布式，可扩展，巨大存储仓库，当用户需要对海量的数据进行实时的失效性随机的读写操作，用户可以使用hbase设计一张巨大的表，该表的规模能达到十亿行*数百万列，并且可以运行在商用的硬件集群之上。hbase：是一个基于hadoop的分布式，可扩展，版本化的巨大的非关系型数据库。hdfs和hbase的区别：hbase是构建在hdf...
2020-01-08 21:14:52
267
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人