- 博客(12)
- 收藏
- 关注
RSS订阅原创 hive、oracle、mysql函数
hive集合函数size(列名)：求array、map长度 map_keys(列名)：拿map里所有key值 , map_values 拿所有value值 array_contains(列名,'足球'):查看array中是否包含 sort_array(列名):对array排序类型转换函数cast(列名as int)：列转为int类型日期函数from_unixtime(1632384337,'yyyy-MM-dd HH:mm:ss'), --时间戳转年月日 unix_timesta..
2022-02-10 14:57:18
993
原创 Mongodb常见用法
// 获取数据库连接// val url = MongoClientURI("mongodb://192.168.56.160:27017/")// val mc = MongoClient(url) val mc = MongoClient("192.168.56.160", 27017) val db = mc("mydemo") // 加载数据库 val tab = db("userinfos") // todo 查 val where = ..
2022-01-17 14:55:36
292
原创 Hive的常见用法
一、创建表1.1内部表create table 数据库名.表名( 属性(一般都用string类型))row format delimited fields terminated by ','stored as textfile -- 文本文件stored as orc -- orc压缩文件,压缩后别人无法读取stored as parquet -- 别人需要继续使用数据1.2外部表create external table 数据库名.表名( 属性)row
2021-11-24 15:31:29
392
原创 hbase常见用法
一、常见命令操作开启hbase：hbase shell 创建名空间：create_namespace 'mydemo' 查看名空间：list_namespace 创建表：create 'mydemo:userinfos','base','other' 注：名空间：表名 ， 列族，列族 查看名空间下的表：list_namespace_tables 'mydemo' 删除表：①、disable 'mydemo:userinfos' ②、drop 'mydemo:userinfos'...
2021-11-24 15:30:16
1520
原创 java排序算法
一、所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作。排序算法，就是如何使得记录按照要求排列的方法。排序算法在很多领域得到相当地重视，尤其是在大量数据的处理方面。一个优秀的算法可以节省大量的资源。在各个领域中考虑到数据的各种限制和规范，要得到一个符合实际的优秀算法，得经过大量的推理和分析。1）冒泡排序a、冒泡排序，是通过每一次遍历获取最大/最小值b、将最大值/最小值放在尾部/头部c、然后除开最大值/最小值，剩下的数据在进行遍历获取最大/最小值.
2021-11-12 15:05:50
744
原创 groupByKey&reduceByKey
1. groupByKeyrdd.groupByKey().map(x=>(x._1,x._2.sum)).foreach(println)2.reduceByKeyrdd.reduceByKey(_ + _).foreach(println)总结：① 从shuffle的角度：reduceByKey和groupByKey都存在shuffle的操作，但是reduceByKey可以在shuffle前对分区内相同key的数据进行预聚合功能，这样会减少落盘的数据量，而gr..
2021-11-03 21:13:33
272
原创 Sqoop常见用法
一、简介sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。sqoop通过Hadoop的MapReduce导入导出，因此提供了很高的并行性能以及良好的容错性。二、常见用法2.1 mysql导入到hdfs1 全部导入 sqoop import \ --connect jdbc:mysql://192.168.56.160:3306/myde
2021-10-11 15:06:42
212
原创 ssm & springboot
1.ssm1.1导包<!--数据库操作--><!-- https://mvnrepository.com/artifact/org.mybatis/mybatis --><dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId> <version>3.4.6</version>&l
2021-09-06 17:30:39
99
原创 sql事务、索引、pl sql、分区、视图、游标、函数、触发器、存储过程
一、事务（ACID）原子性：事务是一个整体 一致性：要么成功，要么失败 隔离性：又分隔离等级：①读未提交——》脏读 ②读已提交 ③可重复读 ④串行化 持久性：最后都要上传1.1 事务开启MySQL中需要：1. 关闭自动提交： set autocommit = 0; （oracle中无需关闭，默认手动提交）2. 开启事务： start transaction;3. 提交：commit or 回滚 ： rollback二、索引2.1 MySQL索引2...
2021-08-23 17:11:46
108
原创 Stream流
Properties类一般用于写配置文件，后缀名为 xxx.properties!!!需要掌握的方法：1.load（）：传入对象流，加载文件内容2.getProperty（一参或者两参）：根据key获取value这个类就是Map的类型，跟Map接口有关系！！！！Math是一个工具类，可以直接Math.调用out.println(abs(-1)); // 取绝对值 out.println(Math.ceil(23.5)); //向上取整 .
2021-08-21 17:58:45
220
原创 枚举+反射+注释
1.枚举1.1.定义常量public enum Light { RED, GREEN, YELLO("xiaoxue",50); int time; String add; Light(String add, int time) { this.add = add; this.time = time; } Light() { } public Light get(){ retu...
2021-08-20 18:24:33
101
原创 String + io导入 + File类
1.Stringpublic class test01 { public static void main(String[] args) { // String s = new String(); String a = " aa白日依山1尽，黄河入海1流，欲穷千里1目，更上一层楼bb "; //常用方法 //1. 获取字符长度 System.out.println(a.length());
2021-08-20 18:23:43
72
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人