- 博客(41)
- 收藏
- 关注
RSS订阅原创 Scala基础学习-方法和函数
1.方法格式解释：在开发代码中，通常有大量的代码，势必出现重复代码，如果放在方法中，只需要执行一次就行。格式：案例：1.定义一个getMax,用来获取两个整数数据的最大值，并返回结果2.调用该方法获取最大值，并将结果打印到控制台上代码简化版2.返回值类型推段解释：scala定义方法可以省略返回值数据类型，由scala自动推断返回值类型注意：递归方法不能省略返回值案例：特殊情况递归方法，定义一个方法计算某个数据的阶乘3.惰性方法解释：当记录方法返回值的变量被声明为lazy时，方法的
2024-05-12 20:56:51
304
原创 Scala基础学习-循环
解释：Scala中的for循环也是有返回值的，在for循环体中，可以使用yield表达式构建出一个集合(可以简单理解为：就是一组数据)，我们把使用yield的for表达式称为推导式。和上面break类似，主要是主要看breakable在什么位置，主要功能式终止本次循环，执行下一次循环。有时候，我们会涉及到"组合判断"，即一个分支结构中又嵌套了另一个分支结构，这个种写法就叫嵌套分支。解释：for表达式中，可以添加if判断语句，这个if判断就称之为守卫。从上至下，从左至右，依次执行，系统默认结构。
2024-05-09 22:15:59
446
原创 Hive的介绍和特点
Hive的介绍和特点一.什么是Hive二.Hive的优缺点1.Hive的优点2.Hive的缺点一.什么是Hive1.Hive是基于Hadoop一个数据仓库工具，用来数据提取和加载。2.是一个可以存储查询分析在hadoop中大规模数据集的一个机制(机制:协调各个部分之间关系以更好地发挥作用的具体运行方式)3.能够将结构化的数据映射成一张数据库的表，同时提供sql的查询功能,就是将sql转换成MapReduce任务来执行4.因为是转换的MapReduce程序:(1) Hive处理的数据存储在·HDF
2021-10-07 23:16:02
3739
原创 collect_list行转列、concat_ws()--将字段值拼接
一.concat()函数功能：将多个字符串拼接成一个字符串语法: concat(str1,str2,…)返回结果为连接参数产生的字符串 如果有任何一个参数为NULL 则返回值NULLselect concat(name,score) from hehe;select concat(period,’,’,award) as info from collect_ahsyxw;注：-符号 如果参数多的话 需要更多的-符号 因此需要concat_ws()二、concat_ws()函数功能：一
2021-09-13 22:59:36
2297
原创 将数据转成json内容
//关键首先将json字符串转换为json对象，然后再解析json对象，过程如下String s = JSON.toJSONString(person);案例：学生列：public class Student { private String name; private int age; private String phone; public Student() { } public Student(String name, int age,
2021-05-13 20:23:13
2475
1
原创 spark处理复杂的log日志文件
案例：数据1593136280858|{"cm":{"ln":"-55.0","sv":"V2.9.6","os":"8.0.4","g":"C6816QZ0@gmail.com","mid":"489","nw":"3G","l":"es","vc":"4","hw":"640*960","ar":"MX","uid":"489","t":"1593123253541","la":"5.2","md":"sumsung-18","vn":"1.3.4","ba":"Sumsung","sr":"I"},
2021-05-13 19:10:11
323
原创 自定义函数 sprak- UDF UDTF UDTF
一，自定义函数 UDF案例：//样例类case class Hobbies(name:String,hobbies:String)object LianXi2 { def main(args: Array[String]): Unit = { //创建spark运行配置对象 val conf = new SparkConf().setMaster("local[*]").setAppName("linxi2") //创建spark上下文环境对象（链接对象） v
2021-05-13 00:25:40
141
原创 Spark SQL函数--内置函数的使用
一.内置函数聚合函数：count()，countDistinct()，avg()，max()，min()集合函数：sort_array、explode日期，时间函数：hour、quarter、next_day数学函数：asin、atan、sqrt、tan、round开窗函数：row_number字符串函数：concat、format_number、regexp_extract其他函数:isNaN、sha、randn、callUDF案例://模拟用户访问日志信息val accessLog
2021-05-12 18:36:02
821
原创 Hive函数
一.系统内置函数(1)查看系统函数(2)show functions;(3)显示自带函数用法desc functions upper;(4)详细显示自带的函数的用法desc function extended upper;二.函数NVL说明：NVL：给值null的数据赋值,它的格式是nvl(value, default_value). 它的功能是如果value为null时。则返回default_value 的值,否则返回value的值，如果两个参数为null，则返回null。(1)
2021-03-30 22:41:12
89
原创 分桶表
一.分桶表的创建create table 表名(id int,name string)clustered by (id) //选择上面字段作为字段into 桶数 bucketsfields terminated by '|'collection items terminated by ','map keys terminated by ':'lines terminated by '\n';//注意分桶时，桶数为偶数二.insert 方式将数据导入分桶表insert into t
2021-03-30 18:35:17
197
原创 分区表
一.创建分区表create table 表名(id int,name string)partitioned by (day string)row format delimited fields terminated by '\t';load data local inpath '材料一' into table 上面表名 partition(day='分区方式一');load data local inpath '材料二' into table 上面表名 partition(day='分区方式二'
2021-03-29 21:53:40
87
原创 建表时指定字段分割符
一，分隔符create table 表名（id int,name string）row format delimited fields terminated by ','
2021-03-29 19:08:09
1564
2
原创 创建表 内外部表的区别
一，建表create external table abc(//external 外部的，加了外部表，不加内部表name string,id int,time String,timee string)row format delimitedfields terminated by ‘|’collection items terminated by ‘,’map keys terminated by ‘:’lines terminated by ‘\n’stored as TextF
2021-03-29 18:50:37
246
原创 Hive操作-数据库＜查询，修改，删除＞
一.查询(1)查看数据库show databases; //查询库(2)过滤显示数据库show databases like ‘条件’ //条件比如说开头字母之类的 ‘a*’(3)显示数据库信息–不长用desc database 库名；(4)显示数据库详细信息–不长用desc database extended 库名；二.修改alter database hive set dbproperties(“修改信息”)–不长用三.删除drop database 表名；//注意：删不了非空
2021-03-29 17:42:46
468
原创 IDEA 安装maven并创建项目
1.需要下载maven配置文件2.修改文件settings注意：先在D盘创建jarstore文件夹，可以自己选择创建（不过上面就要改成自己创建的目录）最后记得保存！3.打开IDEA4.选择maven5.创建项目和包6.链接maven数据仓库Next 下一步7.修改build 可以删8.添加<dependencies> <dependency> <groupId>junit</groupId&g
2021-03-19 17:19:51
74
原创 Elasticsearch的安装
** 1.传输六个文件入虚拟机**最好在/opt/software/目录下elasticsearch-6.2.2.tar.gzlogstash-6.2.2.tar.gznode-v8.9.1-linux-x64.tar.gzkibana-6.2.2-linux-x86_64.tar.gzelasticsearch-analysis-ik-6.2.2（压缩包）elasticsearch-head-master（压缩包）2.安装elasticsearch-6.2.2.tar.gz输入命令：t
2021-03-16 19:13:35
223
原创 Linux命令大全2
1.echo &PATH2.printenv有地址3.查看文件内容cat 文件名 ：查看所有-n 或 --number：由 1 开始对所有输出的行数编号。-b 或 --number-nonblank：和 -n 相似，只不过对于空白行不编号。-s 或 --squeeze-blank：当遇到有连续两行以上的空白行，就代换为一行的空白行。-v 或 --show-nonprinting：使用 ^ 和 M- 符号，除了 LFD 和 TAB 之外。-E 或 --show-ends : 在每行结
2021-03-12 16:56:37
75
原创 Linux常用命令
3.Linux文件系统常用目录/ :Linux系统根目录/bin:系统启动时需要的执行文件(二进制)/dev:设备文件目录/etc:操作系统的配置文件目录（防火墙、启动项）/home:用户信息存放的目录，用户的默认工作目录/usr:程序和数据存放目录/var:包含在正常操作中被改变的文件：假脱机文件、记录文件、加锁文件、临时文件和页格式化文件等4.Linux 目录操作命令pwd： 查看当前所在目录cd ： 打开目录 //cd +想要打开的目录如：cd / 根目录cd. 当
2021-03-11 13:39:05
50
原创 MySQL查询总结
基础查询：1.select 列名from 表名where 筛选条件2.as //取名3.distinct //去重 格式：select distinct 字段名 from4.all //查看所有，默认的，不写就默认all5.逻辑符： AND和&& //逻辑与，同时为真，结果才为真 or和|| //逻辑或，只要一个为真，则结果为真 not和! //逻辑非，若操作数为假，结果则为真6.比较操作符： is null // 格式：a is null 若操
2021-03-03 19:29:56
169
1
原创 MySQL数据管理
1.外键管理外键作用创建外键建表时指定外键约束在子表里输入：constraint FK_gradeid foreIgn key(gradeid) references grade(gradeid)//constraint(约束) FK_gradeid(约束取名：外键一般 FK 开头，要给那个设为外键) foreign key(gradeid) (意思是把这个表里列名为gradeid设为外键)//references（意思是：引用） grade(gradeid) （意思是：引用表的表名+
2021-02-24 20:26:57
177
原创 初始MySQL
1.什么是数据库(1)数据库（Database,简称DB）概念长期存放在计算机内，有组织、可共享的大量数据的集合，是一个数据“仓库”作用保存、管理数据(2)数据库总览关系型数据库（SQL）MySQL、Oracle、SQL Server、SQLite、DB2非关系型数据库（NOSQL）Redis、MongoDB2.什么是DBMS数据库管理系统(Database Management System）数据管理软件，科学组织和存储数据、高效地获取和维护数据3.MySQL简介概念是现流
2021-02-23 18:44:03
60
原创 VMware安装
1.创建虚拟机（1）出现新建虚拟机向导，选择典型（自定义比较麻烦，所以选择自定义）下一步。（2）选择稍后安装操作系统，下一步。（3）客户机操作系统（选择Linux(L)） 版本 选择CentOS 7 64 位 下一步（4）虚拟机名称（自己取个名） 位置最好放在D盘中，位置目录后缀最好加个虚拟机命名的一个文件，下一步。如：（5）最大磁盘大小，默认为20个GB选择将虚拟磁盘拆分多个文件 ，下一步。（6）选择自定义硬件内存建议 选择4GB处理器1个就行新CD/DVD（IDE） 选择
2021-02-21 18:22:29
161
原创 输入输出流一
一.File类常用的方法：boolean exists( )判断文件或目录是否存在boolean isFile( )判断是否是文件boolean isDirectory( )判断是否是目录String getPath( )返回此对象表示的文件的相对路径名String getAbsolutePath( )返回此对象表示的文件的绝对路径名String getName( )返回此对象表示的文件或目录的名称boolean delete( )删除此对象指定的文件或目录boolean createNew
2021-02-17 22:17:43
52
原创 2021-01-27
枚举枚举指由一组固定的常量组成的类型类型安全易于输入代码清晰包装类所有包装类都可将与之对应的基本数据类型作为参数，来构造它们的实例注意事项Boolean类构造方法参数为String类型时，若该字符串内容为true(不考虑大小写)，则该Boolean对象表示true，否则表示false当Number包装类构造方法参数为String 类型时，字符串不能为null，且该字符串必须可解析为相应的基本数据类型的数据，否则编译不通过，运行时会抛出NumberFormatException异常**to
2021-01-27 16:33:58
188
原创 2021-01-18
封装的概念将类的某些信息隐藏在类内部，不允许外部程序直接访问，而是通过该类提供的方法来实现对隐藏信息的操作和访问封装的好处便于使用者正确使用系统，防止错误修改属性有助于系统之间的松耦合，提高系统独立性提高软件的可重用性降低了构建大型系统的风险如何导入包为了使用不在同一包中的类，需要在Java程序中使用import关键字导入这个类static可以用来修饰成员变量静态变量，可以直接通过类名访问成员方法静态方法，可以直接通过类名访问代码块静态代码块，当Java虚拟机加载类时，就会执
2021-01-18 18:55:19
47
原创 类和对象
开发的方法1.结构开发：面向功能划分软件结构自顶而下最小的子系统是方法制约了软件的可维护性和可扩展性2.面向对对象开发：面向对象程序设计(Object Oriented Programming，OOP)把软件系统看成各种对象的集合系统结构较稳定子系统相对独立软件可重用性、可维护性和可扩展性强如何创建型和使用对象创建对象类名 对象名 = new 类名();如School center = new School();引用对象成员：使用“.”进行以下操作引用对象成员：使用“.”
2021-01-15 14:20:46
40
原创 数组不太熟悉知识点
for快捷键10.fori=for(int i = 0; i < 10; i++)随机生成几个数a[i]=(int)(Math.random()*1i00);–（对i变量随机生成i变量次数的int类型的数超数组for(int num:list)—（必须再已经确定的数组才能使用）判断boolean isCorrect = false;例题package cn.kgc.kb11;import java.util.Scanner;public class Lianxi111 {
2021-01-12 22:07:04
50
原创 多重循环
一个循环体内又包含另一个完整的循环结构while(循环条件1){//循环操作1while(循环条件2){//循环操作2}}do{//循环操作1do{//循环操作2}while(循环条件2);}while(循环条件1);for(循环条件1){//循环操作1for(循环条件2){//循环操作2}}while(循环条件1){//循环操作1for(循环条件2){//循环操作2}}多重循环的使用特特点各循环可互相嵌套一般不超过三层 127外层循环变量变化一
2021-01-10 21:23:09
144
原创 循环结构
使用while循环的特点：循环的条件 和 循环操作int i = 1;//（）里面是循环条件 {}里面是循环操作while ( i <= 100 ){ System.out.println("第" +i+ "遍写： 好好学习，天天向上！"); i ++;}什么是do while...
2021-01-07 18:17:19
57
原创 变量与数据类型
1.变量命名的规则字 ：字母下 ：下划线美 ：$人：￥数:数字骆驼：多个单词首字母大写，像个驼峰有意义2.数据类型说明byte 一字节八位 -128~127int 四节三十二位 -2147483648（-231） ~ + 2147483647（231-1）short 二字节十六位 -32768 （-215） ~ + 32767 （+215-1）long 8字节64位 -263 ~ + 263-1float 4字
2021-01-05 17:27:50
95
2
原创 2021-01-04
为什么学习Java因为Java语言用的多Java可以做什么客户端 Client C/S server银行软件、商场结算软件浏览器 Browser B/S京东商城、淘宝网、易趣网移动端 M/SAndroid APP运算和存储大数据开发java的产生Java是Sun Microsystems于1995年推出的高级编程语言开发Java程序1、编写源程序2、编译源程序3、运行java源代码通过编则器变成字节码文件加粗样式public class Hell
2021-01-04 16:55:05
57
原创 盒子模型
1.边框border-color(设置边框颜色）2.边框粗细border-width（宽度）thin（细的）medium（中等的）thick（粗的）像素值示例：border-top-width:5px;border-top-width:5px;border-right-width:10px;border-bottom-width:8px;border-left-width:22px;border-width:5px ;border-width:20px 2px;border
2020-12-30 19:48:14
72
原创 初识CSS
初识CSS表单认证三种： placeholderrequiredpatterninput类型的文本框提供一种提示（hint）可以描述文本框期待用户输入何种内容提示语默认显示，当文本框中输入内容时提示语消失适合于input标签：text、search、url、email和password等类型<input type=“search” name="<input type=“search” name=“sousuo” 索的关键字"/>CSS的概念Cascading Sty
2020-12-28 19:17:57
75
原创 表单
1.表单语法<form method="post" action="result.html"> <p> 名字：<input name="name" type="text" > </p> <p> 密码：<input name="pass" type="password" > </p> <p> <input type="submit" name="Button" val
2020-12-27 22:13:42
62
原创 表格，视频音频
标题什么是列表，列表的分类1.列表就是信息资源的一种展示形式2.（1）无序列表<ul><!--申明这是无序列表--> <li>.....</li>·<!--表示列表内容--> <li>.....</li></ul>案例：<!DOCTYPE html><html> <head> <meta charset="utf-8"> <tit
2020-12-24 15:36:02
70
原创 今天不上课 对前面知识的复习
1.什么是HTML超文本标记语言Hyper Text Markup Language2.HTML的发展史2013年5月6日 HTML5在网页上常用最稳定。3.HTML的基本框架<!DOCTPE html><!--其中html表示告诉浏览器使用语言--><html> <head> <meta charset="utf-8"><!--其中"utf"包含了所有国家需要的字符--> <title>网络名称<
2020-12-23 20:05:51
56
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人