- 博客(45)
- 收藏
- 关注
RSS订阅原创 Kafka Stream
Kafka Stream一、kafka Stream是什么二、代码1.开启kafka相关应用2.kafka stream 处理逻辑2.kafka stream 处理结果一、kafka Stream是什么二、代码1.开启kafka相关应用//后台启动kafka服务kafkserver-start.sh -daemon /opt/software/kafka211/config/server.properties//查看kafka已有消息队列kafka-topics.sh --zookeepe
2021-05-27 14:53:57
179
原创 Flume
flume一、kafka作为sink二.kafka和hdfs（两个channel，两个sink）三.kafka、hdfs、logger（三个channel，三个sink）一、kafka作为sinkuserfriends.sources=userFriendsSourceuserfriends.channels=userFriendsChanneluserfriends.sinks=userFriendsSinkuserfriends.sources.userFriendsSource.type=
2021-05-25 14:26:18
181
原创 Scala基本语法
Scala语法一、偏函数二、部分函数三、模式匹配四、样例类五、伴生类，伴生对象六、抽象类一、偏函数object Test { def main(args: Array[String]): Unit = { def funPart: PartialFunction[Int, String] = { case 90 => "优秀" case 80 => "良好" case 70 => "中等" case 60 => "及格
2021-04-26 19:58:15
173
原创 Scala的常见应用
Scala的常见应用一、递归函数定义二、指定参数名传参三、匿名函数改名四、函数作为参数传递五、隐式函数一、递归函数定义 def ji(n: Int): Int = { if (n == 1) 1 else n * ji(n - 1) } println(ji(5))二、指定参数名传参def Test1(name:String,age:Int):Unit={ println("姓名："+name+",年龄"+age) } Tes
2021-04-25 17:14:22
232
原创 Scala入门
Scala入门一、Scala概述二、Scala数据类型三、Scala基本操作一、Scala概述二、Scala数据类型三、Scala基本操作object Second { import scala.util.control.Breaks._ def main(args: Array[String]): Unit = { val arr2 = new Array[String](10)-------数组定义（一） arr2(0) = "1" arr2(1) =
2021-04-22 17:10:54
60
原创 Hive简介和安装
Hive简介和安装一、Hive简介二、HQL和SQL的不同三、Hive的安装三、Hive的交互模式四、设置dbeaver五、启动beeline指令及hive命令行模式一、Hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hvie
2021-03-26 17:17:34
87
转载 YARN的工作机制
YARN是什么全称 Yet Another Resource Negotiator，是一套全新的任务调度与资源管理框架，是 Hadoop 2（当前我们使用的Hadoop版本）的关键组件之一。不同于 Hadoop 1，YARN 不仅支持 MapReduce，还支持各种计算引擎，是一个通用的资源管理器。YARN架构及工作机制下面介绍一下 YARN 的架构以及它是如何工作的。架构搬一张官网的图YARN 也是典型的 Master-Slave 架构，Master 称为 ResourceManager(
2021-03-23 19:05:55
186
原创 java实现hdfs文件读写
Java实现hdfs文件读写一、创建java maven工程对hdfs文件进行读取1、新建maven工程2、修改pom.xml3、java代码二、jar包打包三、args[]传参方法一、创建java maven工程对hdfs文件进行读取1、新建maven工程新建maven工程，选择quickstart方式填写文件路径名及工程命选择maven版本，并选择本机maven中的setting.xml新建之后，选择enable自动导入包2、修改pom.xml <properties&g
2021-03-19 13:55:49
1272
原创 Hadoop环境准备（一）伪分布式安装
Hadoop环境准备1、解压缩包2、修改Hadoop的配置文件3、启用hadoop服务1、解压缩包上传hadoop相关的两个压缩包到指定路径下解压缩native包解决，启停Hadop服务时的一个warning2、修改Hadoop的配置文件vi hadoop-env.shvi core-site.xmlvi mapred-site.xmlvi yarn-site.xml修改环境变量启用环境变量 source /etc/profile3、启用hadoop服务格式化目标目
2021-03-17 19:34:09
77
原创 ELK环境准备
ELK环境准备一、Elasticsearch安装二、head-master安装三、kinbana安装一、Elasticsearch安装1、将elasticsearch包上传到/opt/software/ELK文件路径下。2、解压缩elasticsearch安装包。3、将es的解压目录重命名为es，由于es的安装命令不能在root用户下执行，所以新建es用户，并设置密码，同时将es的执行权限全部改成es用户。4、对es/configure/elasticsearch.yml进行修改，在文件末端
2021-03-16 16:36:50
141
原创 Svn服务安装和maven工程构建
Svn服务安装和maven工程构建一、SVN服务的安装二、构建maven工程一、SVN服务的安装svn是一个类似ftp服务器的文件上传和下载的应用服务1、安装subversion服务器端yum install -y subversion2、创建SVN资源库目录mkdir /svnData3、生成SVN资源目录svnadmin create /svndata/projects/testSvn4、配置SVN项目权限认证进入SVN项目库配置文件夹cd /svndata/project/te
2021-03-11 15:08:12
143
原创 单例模式和DAO模式
单例模式和DAO模式一、单例模式（设计模式的一种）二、DAO模式三、配置文件加载数据库访问参数一、单例模式（设计模式的一种）####################################懒汉式#########################################public class TestSingle { private static TestSingle t =null; public synchronized static TestSingle new
2021-03-09 20:06:43
138
原创 JDBC
JDBC一、JDBC是什么1、JDBC的概念2、JDBC访问数据库步骤3、新建JDBC项目4、JDBC代码示例二、prepareStatement三、JDBC的工作原理一、JDBC是什么1、JDBC的概念2、JDBC访问数据库步骤3、新建JDBC项目先建一个web工程导入jdbc的依赖jar包修复导入之后的问题4、JDBC代码示例####################初始代码##############################################publi
2021-03-09 16:32:50
64
原创 在idea中创建javaweb项目
在idea中新建javaweb项目一、在idea中新建javaweb项目二、部署应用程序到tomcat的webapps目录一、在idea中新建javaweb项目1、打开idea，选择File->new->new project->勾上 Web Applicaton选项2、给工程起了名字之后，选择finish完成3、将新建工程和本机安装的tomcat进行关联选择Run -> Edit configurations选择 + —> 选择tomcat server
2021-03-04 17:24:43
4109
1
原创 Tomcat在window和linux下的安装
Tomcat在window和linux下的安装一、Tomcat在window环境下的安装二、Tomcat在linux环境下的安装一、Tomcat在window环境下的安装1、下载apache-tomcat-x.x.x.zip的安装包（或者免安装的版本）2、将安装包解压缩，放到某个不含中文的路径下，解压缩之后，文件夹中应该包括以下文件3，配置系统环境变量右击此电脑，选择属性，下翻选择高级系统设置选择环境变量添加CATALINA_BASE和CATALINA_HOME两个环境变量（实际上就是a
2021-03-04 15:59:21
383
1
原创 Mysql——触发器和视图
Mysql——触发器和视图一、Mysql触发器二、Mysql视图一、Mysql触发器触发器的定义方式触发器的定义示例*********************多个语句的触发器定义*************************************create trigger trig_result_his after insert on result for each row begininsert into result_history(result_id,result_des)
2021-03-03 18:16:46
115
1
原创 Mysql—存储过程和UDF函数
Mysql—存储过程和UDF函数一、存储过程和UDF函数的区别二、存储过程的定义三、UDF函数的定义一、存储过程和UDF函数的区别二、存储过程的定义存储过程定义示例获得大一成绩最大值和对应的学员名称delimiter $$create procedure getMaxScoreAndName (in gradeName varchar(50),out maxScore decimal(5,2),out topstudent varchar(20))begin select max(sc
2021-03-03 18:05:08
291
原创 Mysql操作（1）
Mysql基本操作（1）1、登录[root@192 ~]# mysql -uroot -pEnter password:Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 1Server version: 5.6.46 MySQL Community Server (GPL)Copyright (c) 2000, 2019, Oracle and/or its affilia
2021-02-24 19:12:30
67
原创 初识Mysql
初始Mysql一、数据库概念二、Mysql简介三、SQLyong软件配置四、修改Mysql的字符编码五、库、表的基本操作语句一、数据库概念二、Mysql简介三、SQLyong软件配置安装好SQLyong软件后，新建sessionMysql host address：虚拟机的连接端口IP地址username：虚拟机中Mysql的用户名password：Mysql的密码如果连接出现1045的错误，进入到mysql中mysql> use mysqlReading table
2021-02-23 14:02:08
85
原创 java——方法重写和多态
java—方法重写和多态一、方法重写二、方法重写的规则三、方法重写和重载的区别四、Object类重写toString方法自定义equals方法两个特殊例子：五、多态(方法重写是实现多态的基础)一、方法重写子类继承父类之后，每个子类中的具体方法都会不一样，如果每次都要在子类中新定义一个方法，会很繁琐。因此，在父类中写一个空方法体，而在子类中对此方法进行重写。父类方法：pet类的eat方法public abstract void eat();或者pubic void eat(){}子类进行方法
2021-02-22 18:48:52
122
原创 java反射机制
java反射机制一、java反射机制原理二、反射的优缺点及用途三、反射机制常用的类四、反射的基本使用一、java反射机制原理1）Java反射机制的核心是在程序运行时动态加载类并获取类的详细信息，从而操作类或对象的属性和方法。本质是JVM得到class对象之后，再通过class对象进行反编译，从而获取对象的各种信息。（2）Java属于先编译再运行的语言，程序中对象的类型在编译期就确定下来了，而当程序在运行时可能需要动态加载某些类，这些类因为之前用不到，所以没有被加载到JVM。通过反射，可以在运行时动态地
2021-02-19 21:06:40
99
原创 Mysql环境安装
Mysql环境安装一、安装Vmware二、新建设置虚拟机三、安装虚拟机linux系统四、设置MobaX终端五、安装Mysql软件六、配置Mysql登录密码一、安装Vmware下载一个VMware的安装包：包名：VMware-workstation-full-xxxx.exe按照知道一步步进行,几个注意点：1、键盘增强驱动选项那里可以不选2、安装位置不要放在C盘二、新建设置虚拟机1、双击打开VMwareWorkStation，点击创建新的虚拟机2、选择典型安装，点下一步3、选择稍后安装
2021-02-19 16:19:21
153
1
原创 java-IO流
java-IO流一、java I/O二、File类三、流一、java I/OJava.io 包几乎包含了所有操作输入、输出需要的类。所有这些流类代表了输入源和输出目标。Java.io 包中的流支持很多种格式，比如：基本类型、对象、本地化字符集等等。一个流可以理解为一个数据的序列。输入流表示从一个源读取数据，输出流表示向一个目标写数据。Java 为 I/O 提供了强大的而灵活的支持，使其更广泛地应用到文件传输和网络编程中。二、File类相关代码演示import java.io.File;
2021-02-18 20:58:26
105
2
原创 java-多线程
java——多线程一、什么是多线程？二、一个线程的生命周期三、多线程的三种实现方式1、通过实现 Runnable 接口；2、通过继承 Thread 类本身；3、通过 Callable 和 Future 创建线程。四、线程的一些属性五、多线程的总结一、什么是多线程？Java 给多线程编程提供了内置的支持。 一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。多线程是多任务的一种特别的形式，但多线程使用了更小的资源开销。这里定义和线程相关的另一个术语 - 进
2021-02-18 13:46:03
126
原创 java中的一些小tips及思考（持续更新）
1、一个类中，只有一个方法的时候，可以考虑把这个方法定义成static方法，因为如果把这个仅有的方法定义成对象方法，一般意义不大。2、如果主用方法中调用多个方法，那么下面的多个方法，可以将异常抛给此主用方法，避免因为存在异常需要处理导致的编译错误。主用方法体内，用try和catch结构来处理本次异常。这种方式下，异常一般只用处理一次。3、输入流获取一个文本文件中的一些写法：FileInputStream fis= new FileInputStream(InPath);byte[] b = new
2021-01-30 09:57:25
90
原创 java——简单算法合集
选择排序public class Demo5 { public static void main(String[] args) { //基本逻辑：外层循环确定一个位置 //内层循环确定该位置的值（当前最小值） int[] a = new int [10]; for (int i = 0; i < a.length; i++) { a[i]=(int)(Math.random()*100);
2021-01-27 16:34:03
135
原创 java—— 一维数组
一维数组1、 数组常用的定义方式类型 数组名= new 类型[数组长度]类型 数组名 = {数组元素}2、、增强for一般用于对集合或者数组的遍历，用类型+变量的组合去接受集合或者数组中的每一个元素，临时复制给类型+变量的组合。例子：for (int num: arr){sum+=num;}3、 数组和内存java代码经过编译之后，形成的class文件由java解释器中的类加载器去解释，同时java解释器会向内存去申请栈内存和堆内存这里说的堆栈内存是指jvm的虚拟内存，栈内存是需要和
2021-01-27 16:01:03
198
原创 java——方法重载和构造器
方法重载和构造器一、方法重载带多个参数的方法二、使用步骤1.引入库2.读入数据总结一、方法重载带多个参数的方法添加学员姓名，指定区间查找public class Students { public String[] names=new String[5]; public void addName(String name){ int flag=0; for (int i = 0; i < names.length; i++) {
2021-01-26 22:44:50
89
1
原创 java——封装
java-封装和继承一、什么是封装二、使用步骤1.引入库2.读入数据总结一、什么是封装封装：private关键字来限制访问权限1、保证属性安全 -主要使用setter实现封装的安全性如果有构造方法，则在构造器中调用setter保证封装的安全性2、提供便捷访问的方式 权限加大使用的getter来保障访问调用二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as plti
2021-01-20 19:22:48
52
原创 java-传递参数、构造方法、this关键字、成员变量和局部变量
java-传递参数、构造方法、this关键字、成员变量和局部变量一、方法传参二、构造方法三、this关键字四、成员变量和局部变量一、方法传参传递参数时：如果参数类型是基本数据类型，传递的是值如果参数类型是引用数据类型，传递的是地址案例：代码实现package cn.kgc.kb11;import java.util.Arrays;public class Demo3 { /* * 要对数组进行分数求和，求平均值，判断平均值 * 若小于60分，则对象数组中的每
2021-01-16 19:43:11
488
1
原创 java—面向对象、类和方法
java—面向对象、类和方法一、类、对象的定义和使用二、方法的返回值及调用三、方法的参数传递及重载1、方法的参数传递2、方法的重载四、相关练习一、类、对象的定义和使用OO(object-oriented)OOD（Design） OOA（Analysis） OOP（Programming） 静态特征：属性动态特征: 方法类是对象的抽象概念，对象是类的具体实现。类的定义：public class 类名{//类名要与 .java文件名相同 类型 属性名;//属性 ... 方
2021-01-14 19:18:19
92
原创 java基础总结——吃货联盟项目实战
java基础总结——吃货联盟项目实战一、业务逻辑二、代码实现2.读入数据总结一、业务逻辑吃货联盟数据主体分析：姓名：输入 String餐品信息：序号、餐品名string、价格double、点赞数int用3个一维数组实现份数：输入 int 大于0的整数时间：输入int 10~20点之间的整数地址：输入 String订单信息：String 二维数组序号、姓名、餐品名、分数、价格（总价）、地址、时间、状态签收订单：改变订单的状态 如果已完成则不能再次签收删除订单：不能删除未完成的订单，序号
2021-01-13 20:16:19
863
原创 java基础（五）——多重循环经典示例
java基础（五）——多重循环经典示例一、打印三角形和平行四边形二、九九乘法表1.break及return的用法2.continue的用法三、判断2到100的素数四、分解质因数一、打印三角形和平行四边形public class Demo2 { public static void main(String[] args) { //直角在左下角的直角三角形 for (int i = 0; i < 5; i++) { for (int j
2021-01-11 08:31:33
194
原创 java基础（四）——for循环结构
java基础——循环结构一、while循环1.while循环结构2.while循环的执行逻辑3.while循环示例二、do-while循环1.do-while循环结构2.do-while逻辑结构3.do-while循环示例三、for循环1.for循环结构2.for循环示例四、总结——三个循环结构的异同一、while循环1.while循环结构2.while循环的执行逻辑3.while循环示例代码如下（示例）：public class Demo1 { public static voi
2021-01-07 16:21:32
189
原创 java基础（三）——三元运算、if-else结构、switch结构
java基础（三）一、三元运算二、if-else结构三、switch结构四、总结一、三元运算代码如下（示例）：import java.util.Scanner;public class huiyuankahao { public static void main(String[] args) { Scanner number = new Scanner(System.in); System.out.println("请输入6位会员卡号：");
2021-01-06 17:41:10
215
原创 java基础（三）——数据类型、Scanner、运算符
java基础（三）一、常量二、Scanner的使用三、数据类型转换四、运算符1、赋值运算符2、算术运算符3、关系运算符和逻辑运算符一、常量public class Demo2 { public static void main(String[] args) { final int a; int b; a=1; b=1; b=2; //a=2;常量一旦赋值，就不可被更改。 final
2021-01-05 18:38:55
118
原创 java基础（二）——变量和数据类型
java基础（二）变量和数据类型一、什么是变量二、变量的命名规则三、java的数据类型1、数据类型种类2、数据类型一、什么是变量数据的内存地址索引二、变量的命名规则三、java的数据类型1、数据类型种类2、数据类型...
2021-01-04 15:29:40
53
原创 java基础（一）
java基础（一）一、java的产生和历史二、java的平台体系结构三、开发java程序的步骤1、使用记事本开发java程序2、java虚拟机与跨平台原理3、开发工具开发程序三、java程序结构1、控制台输出信息2、java中的注释四、java的代码规范一、java的产生和历史二、java的平台体系结构三、开发java程序的步骤1、使用记事本开发java程序2、java虚拟机与跨平台原理3、开发工具开发程序三、java程序结构1、控制台输出信息2、java中的注释/**
2021-01-04 15:14:26
70
1
原创 Java环境初始化
Java环境初始化前言一、JDK环境初始化二、IDEA工具破解前言一、JDK环境初始化下载一个64位java1.8版本的安装包按照默认安装路径安装：C:\Program Files\Java\jdk1.8.0_271\bin环境变量的设置：右击《我的电脑》>《属性》>《高级系统设置》>《环境变量》依次添加新的系统变量:JAVA_HOME：C:\Program Files\Java\jdk1.8.0_271\binCLASSPATH .;%JAVA_HOME%\
2021-01-01 19:53:55
229
原创 css基础(二)及盒子模型
css基础（二）一、css的高级选择器二、盒子模型三、div的用法一、css的高级选择器E FE>FE+FE~F结构伪类选择器属性选择器二、盒子模型盒子模型各要素下的属性三、div的用法 <div></div> 一对div标签就是一个盒子。占一行，相当于P标签。...
2020-12-29 16:50:57
49
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人