- 博客(12)
- 收藏
- 关注
原创 hive、oracle、mysql函数
hive集合函数size(列名):求array、map长度 map_keys(列名):拿map里所有key值 , map_values 拿所有value值 array_contains(列名,'足球'):查看array中是否包含 sort_array(列名):对array排序类型转换函数cast(列名as int):列转为int类型日期函数from_unixtime(1632384337,'yyyy-MM-dd HH:mm:ss'), --时间戳转年月日 unix_timesta..
2022-02-10 14:57:18 1005
原创 Mongodb常见用法
// 获取数据库连接// val url = MongoClientURI("mongodb://192.168.56.160:27017/")// val mc = MongoClient(url) val mc = MongoClient("192.168.56.160", 27017) val db = mc("mydemo") // 加载数据库 val tab = db("userinfos") // todo 查 val where = ..
2022-01-17 14:55:36 296
原创 Hive的常见用法
一、创建表1.1内部表create table 数据库名.表名( 属性(一般都用string类型))row format delimited fields terminated by ','stored as textfile -- 文本文件stored as orc -- orc压缩文件,压缩后别人无法读取stored as parquet -- 别人需要继续使用数据1.2外部表create external table 数据库名.表名( 属性)row
2021-11-24 15:31:29 418
原创 hbase常见用法
一、常见命令操作开启hbase:hbase shell 创建名空间:create_namespace 'mydemo' 查看名空间:list_namespace 创建表:create 'mydemo:userinfos','base','other' 注:名空间:表名 , 列族,列族 查看名空间下的表:list_namespace_tables 'mydemo' 删除表:①、disable 'mydemo:userinfos' ②、drop 'mydemo:userinfos'...
2021-11-24 15:30:16 1528
原创 java排序算法
一、所谓排序,就是使一串记录,按照其中的某个或某些关键字的大小,递增或递减的排列起来的操作。排序算法,就是如何使得记录按照要求排列的方法。排序算法在很多领域得到相当地重视,尤其是在大量数据的处理方面。一个优秀的算法可以节省大量的资源。在各个领域中考虑到数据的各种限制和规范,要得到一个符合实际的优秀算法,得经过大量的推理和分析。1)冒泡排序a、冒泡排序,是通过每一次遍历获取最大/最小值b、将最大值/最小值放在尾部/头部c、然后除开最大值/最小值,剩下的数据在进行遍历获取最大/最小值.
2021-11-12 15:05:50 768
原创 groupByKey&reduceByKey
1. groupByKeyrdd.groupByKey().map(x=>(x._1,x._2.sum)).foreach(println)2.reduceByKeyrdd.reduceByKey(_ + _).foreach(println)总结:① 从shuffle的角度:reduceByKey和groupByKey都存在shuffle的操作,但是reduceByKey可以在shuffle前对分区内相同key的数据进行预聚合功能,这样会减少落盘的数据量,而gr..
2021-11-03 21:13:33 283
原创 Sqoop常见用法
一、简介sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库(比如mysql,oracle)导入到hdfs中;也可以把数据从hdfs中导出到关系型数据库中。sqoop通过Hadoop的MapReduce导入导出,因此提供了很高的并行性能以及良好的容错性。二、常见用法2.1 mysql导入到hdfs1 全部导入 sqoop import \ --connect jdbc:mysql://192.168.56.160:3306/myde
2021-10-11 15:06:42 228
原创 ssm & springboot
1.ssm1.1导包<!--数据库操作--><!-- https://mvnrepository.com/artifact/org.mybatis/mybatis --><dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId> <version>3.4.6</version>&l
2021-09-06 17:30:39 109
原创 sql事务、索引、pl sql、分区、视图、游标、函数、触发器、存储过程
一、事务(ACID)原子性:事务是一个整体 一致性:要么成功,要么失败 隔离性:又分隔离等级:①读未提交——》脏读 ②读已提交 ③可重复读 ④串行化 持久性:最后都要上传1.1 事务开启MySQL中需要:1. 关闭自动提交: set autocommit = 0; (oracle中无需关闭,默认手动提交)2. 开启事务: start transaction;3. 提交:commit or 回滚 : rollback二、索引2.1 MySQL索引2...
2021-08-23 17:11:46 134
原创 Stream流
Properties类一般用于写配置文件,后缀名为 xxx.properties!!!需要掌握的方法:1.load():传入对象流,加载文件内容2.getProperty(一参或者两参):根据key获取value这个类就是Map的类型,跟Map接口有关系!!!!Math是一个工具类,可以直接Math.调用out.println(abs(-1)); // 取绝对值 out.println(Math.ceil(23.5)); //向上取整 .
2021-08-21 17:58:45 251
原创 枚举+反射+注释
1.枚举1.1.定义常量public enum Light { RED, GREEN, YELLO("xiaoxue",50); int time; String add; Light(String add, int time) { this.add = add; this.time = time; } Light() { } public Light get(){ retu...
2021-08-20 18:24:33 112
原创 String + io导入 + File类
1.Stringpublic class test01 { public static void main(String[] args) { // String s = new String(); String a = " aa白日依山1尽,黄河入海1流,欲穷千里1目,更上一层楼bb "; //常用方法 //1. 获取字符长度 System.out.println(a.length());
2021-08-20 18:23:43 105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人