java
WRJ_Jack
这个作者很懒,什么都没留下…
展开
-
SparkSession和SparkContext
SparkSession和SparkContextspark2.x之前,使用streming用streamingContext使用sql 用sqlContext使用hive 用hiveContext使用RDD 用sparkContextspark2.x之后,使用sparksession可以自动访问不同的sparkcontext, saprksession代替了旧的sqlContext和hiveContext同时也保留这些context用来向后兼原创 2020-11-09 11:45:22 · 289 阅读 · 0 评论 -
hivesql优化
1、分区字段,对大数据量查询有质的提升,常见的分区字段有时间分区和业务分区2、了解业务表数据构成,对于唯一字段就不要重复groupby了3、多个union如果只是关联条件不一样,只需要扩增on条件就可以了4、涉及到要多次关联大表查询的,可以采用临时表,然后再关联5、大数据量去重,groupby的效率高于distinct...原创 2021-03-18 19:55:26 · 199 阅读 · 0 评论 -
breake和continue的区别
breake:终止循环continue:终止当前一次循环继续执行下一次举例:总共有五个苹果breake:吃到第三个饱了,不吃了continue:吃到第三个发现是坏的,第三个不吃了,接着吃第四个原创 2021-03-20 15:39:47 · 422 阅读 · 0 评论 -
hive默认分区踩的坑
hive创建动态分区表,当分区字段是null或者空的时候,会自动将分区命名为 ‘hive_defaul_partition’在做非全表扫描下,条件中带有这个分区字段,那么这些默认分区中的数据是不会被扫描。原创 2020-11-17 15:11:20 · 677 阅读 · 0 评论 -
动态节点增加、删除
动态增加节点1、在slaves中添加节点名称,然后source profile2、手动刷新节点hdfs dfsadmin -refreshNodes3、启动DataNode即可sbin/hadoop-daemon.sh start datanodesbin/yarn-daemon.sh start nodemanager动态删除节点(添加到黑名单)1、在etc/hadoop下创建d...原创 2019-11-20 15:06:47 · 439 阅读 · 0 评论 -
linux中的zip和gzip
首先二者都是用来压缩文件的。gzip直接将原文件压缩,原文件消失zip 可以压缩目录或者文件,需要手动写扩展名,压缩后原文件与压缩文件都存在...原创 2019-09-20 11:31:52 · 521 阅读 · 0 评论 -
Html+js的注册界面、form表单、表格、事件、登录密码的隐藏与显示
用html和js做一个登录/注册界面,不连接数据库,这个案例用到了js的引入,form表单结合表格的布局,以及登录界面常用的密码的隐藏与实现的方法。进入正题,先看我们的成型案例:如下图案例大概就是这个样子,讲道理,开始写代码之前得来一波案例分析。首先,宏观看布局,然后局部看细节。布局来看这个界面的组成也很简单,有六个输入框,一个单选框,一个多选框,以及几个按钮。宏观布局首先抛开功能看界面,...原创 2019-08-16 20:00:41 · 5288 阅读 · 0 评论 -
SpringMVC运行原理图示总结
SpringMVC的运行原理大致流程如下图所示:总结为五步:1.发送请求-------->获取Handle处理器2.执行Handle,调用Controller生成ModelAndView3.发送ModelAndView到试图解析器,生成view4.渲染view,将model转换为response5.返回响应结果...原创 2020-01-09 10:13:28 · 302 阅读 · 0 评论 -
java实现输入一个字符串,长度大于8截取8位,剩下的换行补0,小于8位的补0,指定字符串长度换行输出
//输入一个字符串,长度大于8截取8位,剩下的换行补0,不够8位的补0//例如:输入abc 输出:abc00000// 输入12345678123 输出: 12345678// 12300000 //输入一个字符串,长度大于8截取8位,剩下的换行补0,不够8位的补0 //例如:输入abc 输出:abc00000 //...原创 2019-12-24 09:23:18 · 2206 阅读 · 0 评论 -
用java生成随机的手机号+人名字+时间,然后写入到txt文本
在数据分析分过程中经常会用到一些各种需求的数据,例如几十G大小的【手机号码】+【姓名】+【时间】的源数据,一般情况下的这种数据在开发阶段是拿不到的,只能自己手动生成,这里提供一个简单的思路。package com.phonenum;import java.io.BufferedWriter;import java.io.File;import java.io.FileWriter;im...原创 2019-11-15 19:43:58 · 660 阅读 · 0 评论 -
mysql数据库的一个学生信息管理系统案例,涉及了一些sql语句的用法以及增删改查的通用方法,适合初学mysql数据库的同学借鉴,方法都是最基本的方法,易懂
为了书写简单我将所有的类都放到同一个包stu包中了,代码的具体实现原理均有注解,适合初学mysql数据库的同学借鉴,方法都是最基本的方法,易懂。关于数据库表的字段:除了sid是int类型,且是主键和自增长约束,其他的name、age等都是varchar先看实体类,只是简单定义了几个简单的属性,其信息与数据库中表的字段信息一致package com.stu;public class St...原创 2019-08-05 20:29:02 · 1097 阅读 · 0 评论 -
java用数据库实现一个简单的ATM机的案例,由Connection连接对象产生预编译处理对象PreparedStatement,可以防止sql的注入
java用数据库实现一个简单的ATM机的案例,由Connection连接对象产生预编译处理对象PreparedStatement,可以防止sql的注入。先学会爬,再学走!import java.sql.*;import java.util.Scanner;public class Atm { public static void main(String[] args) throws ...原创 2019-07-23 14:08:36 · 564 阅读 · 0 评论 -
java用list实现对象数组的增删改查
实现的功能有1、查找内容 2、修改内容 3、删除内容 4、增加内容 5、打印内容 6、按学号排序 7、按分数排序用Comparator比较器实现两种属性的排序,代码拙劣仅供参考。(ps:为方便运行编译均放在同一个MyList1类中)import java.util.*;class Idcomparator implements Comparator<MyList1>//按学号...原创 2019-07-08 19:07:22 · 3122 阅读 · 0 评论 -
java对象数组元素增添实例的原理,在实现增删的时候,需要对数组的长度进行相应的处理。
由于数组长度不可变的缘故,在实现增删的时候,需要对数组的长度进行相应的处理,增加内容就要增加数组长度,指定下标添加元素就需要将扩容后的数组元素从倒数第二位向倒数第一位(扩容后的倒数第一位是null,倒数第二位是未扩容之前的倒数第一位)移动,循环移动全部元素,直至要插入的下标即可(指定下标之前的元素不变)。代码拙劣仅供参考。import java.util.Arrays;import java...原创 2019-07-09 08:28:44 · 695 阅读 · 0 评论 -
java对象数组元素替换实例
对象数组元素替换实例(普通方法)import java.util.Scanner;//对象数组的元素替换,原理是检索下标用新内容替换掉旧内容public class Test1 { String name; int age ; double score; public Test1(String name, int age, double score) { this.name...原创 2019-07-09 16:24:05 · 3399 阅读 · 1 评论 -
java用map集合写一个简单的增删改查的信息管理案例
java用map集合写一个简单的增删改查的信息管理treemap实现值的排序,此方案借助于sort方法,原理是更换容器将map的键-值映射关系全部取出,放入的list的容器,通过重写比较器Comparator的compare方法,就可以实现功能化操作。测试类package com.ooo.ooo;import java.util.ArrayList;import java.util.H...原创 2019-07-13 16:47:53 · 2354 阅读 · 3 评论 -
用java实现一个简单的学生信息管理方案实例
代码拙劣仅供参考。import java.util.*;public class Student { public int id; String name; int age; String sex; public Student(int id, String name, int age, String sex) { this.id = id; this.name = n...原创 2019-07-10 17:04:35 · 884 阅读 · 1 评论 -
用java实现一个简单的学生信息管理方案实例
用java实现一个简单的学生信息管理方案实例初学者主要是用数组、List等来写一个简易的学生管理系统详细代码如下,可直接复制粘贴编译执行,记得修改类名就好。代码千万条,思想第一条。import java.util.*;public class Student { public int id; String name; int age; String sex; public S...原创 2019-07-11 09:01:39 · 422 阅读 · 0 评论 -
Oracle Database 11g 在安装过程中先决条件检查失败的解决方案
Oracle Database 11g 在安装过程中先决条件检查失败的解决方案今天在安装oracle过程的遇到的一个问题 ,把解决方案分享给大家。首先安装过程的教程不说,不懂的可以留言,这里只介绍在安装过程中坚决条件检查失败时改怎么解决的办法。首先看问题截图:如果你也遇到这个问题可以这样解决:首先Windows+R打开打开运行输入regedit,找到如下注册表目录:接着打开:找...原创 2019-07-29 17:34:10 · 1702 阅读 · 4 评论 -
关于nextLine()的跳过接收或者接收空行的问题
Scanner类的键盘接收的使用频率是非常频繁的,也非常简单,但是往往简单最容易出错,,,,,,很多同学在使用nextline()接收的时候,发现有时候可以正常接收,有时候却会跳过接收,或者接收到空行。这个问题的原因其实很简单,与接收方法的结束方式有关,如果代码只有一处的nextLine()接收,那么这是没问题的,肯定可以正常使用,但是如果使用了多个接收方法,就会产生一些非正常的接收结果。比如...原创 2019-08-02 17:27:03 · 1794 阅读 · 1 评论 -
对象数组的增删查改实例
对象数组的增删查改实例import java.util.*;public class MyList1 extends ArrayList{ String name; int id; double score; public MyList1(String name, int id, double score) { this.name = name; this.id = id...原创 2019-07-08 15:16:01 · 569 阅读 · 1 评论