- 博客(53)
- 收藏
- 关注
RSS订阅原创 Java总结题一
1、JDK 和 JRE 有什么区别？jdk是(java development kit)工具包jdk是(java development kit)工具包jdk(java runtime environment)包括jre,jdk中有jre目录,里面有bin 和 lib , bin里面的就是jvm,lib是jvm的类库2、== 和 equals 的区别是什么？对于基本数据类型 ==比较的是值;对于引用类型==比较的是地址,但是equals不能比较基本数据类型,如果没有重写equals,==
2022-03-24 20:10:03
713
原创 微博数据分析之sql语句总结
第一题 各频道参与博主的人数分布排行，求top5select * from ( select *,rank() over(order by person_num desc) as rank from (select remark , count(1) as person_num from wb_user_info group by remark) tmp) rank_table where rank <= 5;第二题 各频道参与评论量分布排行，求top5select
2022-03-04 16:07:52
265
原创 Hive上传到git中
1，首先进入自己要上传的目录文件处2，git 初始化gitinit3， 将该目录下的文件添加到git中gitadd./4，提交到本地gitcommit-m"Initialcommit"其中引号引起来的是提交信息，可以是中文，方便记忆自己第几次提交5，remotegitremoteaddorigingit网址其中origin 可以起别名，不要重复6， 推送pushgitpush-uorginmaster...
2022-02-23 19:31:51
895
原创 Hive企业应用
一，数据仓库架构设计数据仓库的主要工作就是ETL，即是英文 Extract-Transform-Load 的缩写，用来描述数据从来源端经过装载(load)、抽取(extract)、转换(transform)至目的端的过程。数据仓库架构设计，即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计1，数据架构架构原则：先水平分层，再垂直分主题域数据架构分三层源数据落地区(SDF:Source Data File)数据仓库层(DW:Data WareHous.
2022-02-16 19:59:11
91
原创 Hive自定义函数
一. UDF(user defined function)背景系统内置函数无法解决所有的实际业务问题，需要开发者自己编写函数实现自身的业务实现诉求。 应用场景非常多，面临的业务不同导致个性化实现很多，故udf很需要。意义函数扩展得到解决，极大丰富了可定制化的业务需求。IO要求-要解决的问题in:out=1:1,只能输入一条记录当中的数据，同时返回一条处理结果。 属于最常见的自定义函数，像cos,sin,substring,instr等均是如此要求。实现步骤(Java创建自定义UDF类
2022-02-15 20:59:24
744
原创 分布式资源管理与任务调度框架Yarn
一，Yarn简介1、Yarn是什么Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者） 一种新的Hadoop资源管理器，一个通用资源管理系统 为上层提供统一的资源管理与任务调度及监控，提高了集群管理效率、资源使用率、数据共享效率2、产生背景在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker，我们称之为MRv1。Master
2022-02-11 22:09:53
335
原创 Hadoop进阶经典案例总结
一，以hdfs路径/tmp/table/student_score.txt为输入，表结构为（学号，姓名，课程名称，成绩），字段间分隔符为tab，如下图所示。通过设置reduce个数为2，自定义hash partition实现将其中姓名为"张一"的放到同一个reduce中，非张一的放到其它的reduce中，输出结果字段为（学号，姓名，课程名称，成绩），按tab分隔即可。具体实现代码（java部分）：package com.hadoop.mr.homework2;import com.ha..
2022-02-11 20:21:27
1981
原创 MapReduce进阶与经典案例
一，HDFS数据格式详解数据存储空间是有限的，数据本身和增量是动态变化的，数据格式描述了数据保存在文件或者记录中的规则。HDFS中分为文件格式和压缩格式。1，文件格式文件格式按面向的存储形式不同，分为面向行和面向列的两大类文件格式。 面向行/列 类型名称 是否可切分 优点 缺点 适用场景 面向行 文本文件格式(.txt)
2022-02-10 21:04:04
883
原创 MyReduce经典习题练习
实现过程所需的java代码1，在hdfs目录/tmp/input/wordcount中有一系列文件，内容均为","号分隔，求按","号分隔的各个元素的出现频率，输出到目录/tmp/个人用户名的hdfs目录中。实现代码：package com.tledu.hadoop.mr.homework;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apa
2022-02-10 20:32:15
1190
原创 正则表达式
1，在python中导入包import re2, ^ 以什么开头 ^bo 以bo开头3， . 代表任意字符4，* 代表前面的字符可以重复多次5， re.match （正则表达式，匹配的字符串）匹配上了会返回值6， $ 代表的结尾字符7，？ 非贪婪匹配模式 .*？(b.*? b).* 只匹配了第一个8，带上括号就代表只提取子串.*(b.*b).*只提v取两个b中间的9，match.group(1)就会提取第一个括号里的值10， + 前面的字符至少要出现一次11，{数字}
2022-02-10 19:05:03
249
原创 Ajax初识及jQuery版Ajax
1，Ajax介绍1，什么是Ajax1、AJAX(Asynchronous JavaScript and XML)异步的 JavaScript 和 XML。2、AJAX 不是新的编程语言，而是一种使用现有标准的新方法。3、AJAX 最大的优点是在不重新加载整个页面的情况下，可以与服务器交换数据并更新部分网页内容。4、AJAX 可以使网页实现异步更新5、AJAX 不需要任何浏览器插件，但需要用户允许JavaScript在浏览器上执行。2、Ajax同步与异步的区别我们在使...
2021-11-27 16:50:54
145
原创 jQueryHTML与插件
1，jQuery 对HTML的设置与捕获jQuery 中非常重要的部分，就是操作 DOM 的能力。jQuery 提供一系列与 DOM 相关的方法，这使访问和操作元素和属性变得很容易。1、html() html() - 设置或返回所选元素的内容（包括 HTML 标记）。$("#btn2").click(function(){alert("HTML: "+ $("#test").html()); });$("#btn2").click(function(){$("#t...
2021-11-25 20:48:19
92
原创 jQuery初识以及知识点
1，jQuery介绍(1)、JavaScript与jQuery比较js: 1、入口函数只有一个，window.onload浏览器兼容性：非常令人头疼，比如textContent虽然作为标准方法但是只支持IE8+以上的浏览器 DOM错综复杂，实现简单的效果很麻烦 代码容错性差，出错后导致后面的代码不执行jQuery: 1、市场占有率稳步上升，代码比较少，功能强大2、DOM比较强大，事件处理，完全解决了浏览器的兼容性问题3、ajax操作（比较好）(2)、什么是jQuery1..
2021-11-24 21:08:43
82
原创 DOM节点操作、事件对象与BOM
1.节点操作1,什么是节点根据 W3C 的 HTML DOM 标准，HTML 文档中的所有内容都是节点：整个文档是一个文档节点 document每个 HTML 元素是元素节点HTML 元素内的文本是文本节点每个 HTML 属性是属性节点注释是注释节点2，节点类型通过noteType属性可以获取节点的类型document的节点类型---9console.log(document.nodeType);//9标签的节点类型---1varbox...
2021-11-22 20:24:39
100
原创 JavaScript中的属性操作与事件
1，案例扩展1、隔行换色案例一：完成对无序列表的隔行换色（原理~~~通过循环获取元素得到的伪数组进行取余逻辑判断操作）varbtn=document.getElementById("btn");varliObj=document.getElementById("list").getElementsByTagName("li");console.log(liObj);btn.onclick=function(){//第一种for(vari=0;...
2021-11-21 11:12:46
91
原创 JavaScript中的DOM操作
1，webapi介绍1，api的概念 API（Application Programming Interface,应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。例如：alert()、prompt()、log()、reverse()、getMonths()任何开发语言都有自己的APIAPI的特征输入和输出(I/O)API的使用方法(console.log())2，ebap...
2021-11-21 10:55:13
434
原创 JavaScript预解析，对象，错误
1，函数其他1、函数的命名规则1.由字母、数字、下划线、$符号组成，不能以数字开头2.不能是关键字和保留字，例如：for,while,this, name3.区分大小写规范1.函数名必须有意义2.遵守驼峰命名法3.建议不要用$作为函数名2、函数的覆盖问题如果两个函数都是函数的声明，且函数名相同，那么后边的函数会覆盖前边的functionfn1(){console.log("函数声明");}functionfn...
2021-11-21 09:48:42
263
原创 JavaScript中的数组、函数
1. 数组1，数组的定义所谓数组，就是将多个元素（通常是同一类型）按一定顺序排列放到一个集合中，那么这个集合我们就称之为数组。数组是一个有序的列表，可以在数组中存放任意的数据，并且数组的长度可以动态的调整。2，通过数组字面量创建数组// 创建一个空数组vararr1=[]; // 创建一个包含3个数值的数组，多个数组项以逗号隔开vararr2=[1, 3, 4]; // 创建一个包含2个字符串的数组vararr3=['a', 'c']; // 可以通过数组的len...
2021-11-18 22:30:45
209
原创 JavaScript基础-内置对象使用
1.内置对象JavaScript中的对象分为4种：内置对象、浏览器对象、自定义对象、DOM对象。JavaScript 提供多个内置对象：Math/Array/Number/String/Boolean ... ...。对象只是带有属性和方法的特殊数据类型。学习一个内置对象的使用，只要学会其常用的成员的使用(通过查文档学习)。内置对象的方法很多，我们只需要知道内置对象提供的常用方法，使用的时候查询文档。2.Math对象Math对象不是构造函数，它具有数学常数和函数的属性和方法，都以静态成员的方
2021-11-18 22:18:58
583
原创 JavaScript初识
1，JavaScript是什么JavaScript(简称JS)是一种运行在客户端的脚本语言，JavaScript的解释器被称为JavaScript引擎，为浏览器的一部分，广泛用于客户端的脚本语言，最早是在HTML（标准通用标记语言下的一个应用）网页上使用，用来给HTML网页增加动态功能。也可以说，是一门脚本语言、是一门解释性语言、是一门动态类型的语言、是一门基于对象的语言。（不是面向对象）、是一门弱性语言2，JavaScript与html，css的区别HTML - 提供网页的结构，提
2021-11-17 21:06:49
767
原创 css盒子模型及浮动定位
1，盒子模型（1）盒子模型 所谓盒子模型就是把HTML页面中的元素看作是一个矩形的盒子，也就是一个盛装内容的容器。每个矩形都由元素的内容、内边距（padding）、边框（border）和外边距（margin）组成。 所有的文档元素（标签）都会生成一个矩形框，我们成为元素框（element box），它描述了一个文档元素再网页布局汇总所占的位置大小。因此，每个盒子除了有自己大小和位置外，还影响着其他盒子的大小和位置。（2）网页布局把网页元素比如文字图片等等，放入盒子里面，然...
2021-11-16 22:29:35
611
原创 css介绍及其知识点
1，CSS初识(1)、CSS的发展历程从HTML被发明开始，样式就以各种形式存在。不同的浏览器结合它们各自的样式语言为用户提供页面效果的控制。最初的HTML只包含很少的显示属性。随着HTML的成长，为了满足页面设计者的要求，HTML添加了很多显示功能。但是随着这些功能的增加，HTML变的越来越杂乱，而且HTML页面也越来越臃肿。于是CSS便诞生了。(2)、CSS初识CSS(Cascading Style Sheets) 主要用于美化样式。CSS通常称为CSS样式表或层叠样式表（级联样式表
2021-11-15 22:45:23
404
原创 HTML表格，表单知识点
1.表格标签表格是较为常用的一种标签，但不是用来布局，常用来处理、显示表格式数据。1，创建表格在HTML网页中，要想创建表格，就需要使用表格相关的标签。创建表格的基本语法格式如下：<table><tr> <td>单元格内的文字</td> ...</tr>...</table>1.table用于定义一个表格。2.tr 用于定义表格中的一行，必须嵌套在 table标签中，在 tab...
2021-11-14 14:47:54
1056
原创 day33-HTML
1 概括HTML（英文Hyper Text Markup Language的缩写）中文译为“超文本标签语言”，是用来描述网页的一种语言。所谓超文本，因为它可以加入图片、声音、动画、多媒体等内容，不仅如此，它还可以从一个文件跳转到另一个文件，与世界各地主机的文件连接。HTML指的是超文本标记语言 (Hyper Text Markup Language)HTML不是一种编程语言，而是一种标记语言 (markup language)标记语言是一套标记标签 (markup tag)2HTML骨.
2021-11-10 20:27:58
103
原创 day32-数据库与java链接-JDBC
MySQLJDBC介绍JDBC定义了一套规范标准，它对应的是各种接口与抽象类（通常对应java.sql包下面的各种类与接口），具体实现交给各数据库厂商去完成， MySQL的有自己的实现类并打成jar包发布，供程序开发人员使用；Oracle也有自己的实现jar包。我们开发人员在使用的时候，要根据连接数据库的不同，去对应的官网上下载对应数据库版本与程序语言的数据库驱动（Java语言对应的是一个jar包）。（比如我们使用MySQL 5.1，就要去MySQL官网下载Java语言对应的jar包）J
2021-11-09 22:54:05
552
原创 记录学习每一天-day31
数据库查询练习示例数据学生表 Studentcreate table Student(Sid varchar(6), Sname varchar(10), Sage datetime, Ssex varchar(10));insert into Student values('01' , '赵雷' , '1990-01-01' , '男');insert into Student values('02' , '钱电' , '1990-12-21' , '男');insert int
2021-11-08 22:57:05
79
原创 记录学习每一天-day30
MySQL知识点1，行转列场景一(多行转一行多列)思路分析 :首先我们默认的情况 每个名字都输出两次,而最终结果只有一次名字,所以肯定是 以名字分组 group byselect * from test_9 group by name;对我们来说 ,id,课程,和分数都不需要了,只需要有名字 然后再把java和mysql放上去select name , 1 as java , 1 as MySQL from test_9 group by name;然后再使用聚合..
2021-11-05 20:23:54
55
原创 记录学习每一天-day29
数据库约束1，约束分类实体完整性(主键)主键设置可以划分为两种第一种 : 创建表语句时,添加主键约束第二种 : 创建表完成之后,通过alter添加主键约束第一种 : 创建表语句时,添加主键约束create table person(id int ,name varchar(100),income decimal(18,2),primary key (id,name));第...
2021-11-04 20:37:23
166
原创 记录学习每一天-day28
1，streamAPI1.1，概念数据渠道、管道，用于操作数据源（集合、数组等）所生成的元素序列。集合讲的是数据，流讲的是计算即一组用来处理数组，集合的API。1.2 特点Stream 不是数据结构，没有内部存储，自己不会存储元素。Stream 不会改变源对象。相反，他们会返回一个持有结果的新Stream。Stream 操作是延迟执行的。这意味着他们会等到需要结果的时候才执行。不支持索引访问。延迟计算支持并行很容易生成数据或集合支持过滤，查找，转换，汇总，
2021-11-03 20:49:58
95
原创 记录学习每一天-day27
1，LambdaLambda表达式是一种没有名字的函数,也可称为闭包，是Java 8 发布的最重要新特性。本质上是一段匿名内部类，也可以是一段可以传递的代码。也有叫箭头函数的.Lambda表达式就是一个匿名内部类的简写方式使程序更加简洁清晰,编程效率也得到了提高匿名内部类：lambda表达式语法结构：可选类型声明：不需要声明参数类型，编译器可以统一识别参数值。可选的参数圆括号：一个参数无需定义圆括号，但多个参数需要定义圆括号。...
2021-11-02 22:05:13
56
原创 记录学习每一天-day26
1，正则表达式正则表达式定义了字符串的模式。正则表达式可以用来搜索、编辑或处理文本。概述语法1.3(),[],{}1>. 小括号()：匹配小括号内的字符串，可以是一个，也可以是多个，常跟“|”（或）符号搭配使用，是多选结构的2>.中括号[]：匹配字符组内的字符，比如咱们常用的[0-9a-zA-Z.*?!]等，在[]内的字符都是字符，不是元字符，比如“0-9”、“a-z”这中间的“-”就是连接符号，表示范围的元字符，如果写成[-!...
2021-11-01 21:21:43
45
原创 记录学习每一天-day25
1，单例模式单例：一个类获取多次，只得到一个对象* 1，构造方法私有化* 2 静态变量存储对象* 3 公共的静态方法，用于获取对象public class Singleton_1 { private Singleton_1() { } //volatile:防止指令重排 private volatile static Singleton_1 sl=null;// public synchronized static Sing...
2021-10-31 15:15:01
44
原创 记录学习每一天-day24
1.1 Thread 类joinjoin : 合并线程,多个线程合并为一个线程public static void main(String[] args) { Thread t1=new Thread(new Processer_1()); Thread t2=new Thread(new Processer_1()); t1.setName("t1"); t2.setName("t2"); t1.start()...
2021-10-29 20:28:25
37
原创 记录学习每一天-day23
1.15 文件复制1,文件复制：本质就是输入和输出* 1.1完成文件输入，读取文件* 1.2完成文件输出* 1.3 整合输入和输出完成复制* 2获取目录下所有的子目录* 2.1 获取目录对象* 2.2 获取该目录下所有直接子目录* 2.3 递归获取子目录下面的...
2021-10-28 20:24:23
28
原创 记录学习每一天-day21
1， IO1.1概述流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。I : input 输入O : output 输出输入 : 就是把数据输入到内存中输出 : 就是把内存中的数据写出到外面1.2分类按处理数据类型的不同，分为字节流和字符流 按数据流向的不同，分为输入流和输出流。(入和出是相对于内存来讲的) 按功能不同，分为节点流和处理流..
2021-10-26 21:04:29
36
原创 记录学习每一天-day20
1， Set1.1散列表hashSet使用2， Map2.1Map特性2.2常用方法2.3HashMap2.4 PropertiesProperties:key和value强制要求必须是字符串2.5TreeMap...
2021-10-25 21:34:54
47
原创 记录学习每一天-day19
1，TreeSetpublic static void main(String[] args) { // 数字 升序排序 Set set = new TreeSet(); set.add(10); set.add(1); set.add(2); // 重复的添加不进去 set.add(2); // 报错, 因为不是相同类型比较的时候回出现问题 // se...
2021-10-23 20:51:34
57
原创 记录学习每一天-day18
Collection 常用方法：// 创建集合对象Collection c1 = new ArrayList();// 判断是否为空(个数是否为0)System.out.println(c1.isEmpty());// 集合中是不能保存基本类型的,需要转换为对应包装类才可以// 这里会进行自动装箱为Integer类型,然后发生多态转型为Object类型 进行存储c1.add(123);c1.add(new Integer(1));c1.a...
2021-10-21 21:11:38
52
原创 记录学习每一天-day17
1，异常机制异常是Java中提供的一种识别及响应错误情况的一致性机制。有效地异常处理能使程序更加健壮、易于调试。异常发生的原因有很多，比如：用户输入了非法数据 要打开的文件不存在 网络通信时连接中断 JVM内存溢出 这些异常有的是因为用户错误引起，有的是程序错误引起的，还有其它一些是因为物理错误引起的2，常见异常空指针 下标越界 栈内存溢出 类型转换异常java中的继承关系Error:系统内部错误，这类错误由系统进行处理，程序本...
2021-10-20 21:30:51
109
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人