- 博客(25)
- 收藏
- 关注
RSS订阅原创 MySQL创建用户与授权
一. 创建用户命令:CREATE USER 'username'@'host' IDENTIFIED BY 'password';说明：username：你将创建的用户名host：指定该用户在哪个主机上可以登陆，如果是本地用户可用localhost，如果想让该用户可以从任意远程主机登陆，可以使用通配符 %password：该用户的登陆密码，密码可以为空，如果为空则该用户可以不需要密码登陆服务器例子：CREATE USER 'dog'@'localhost' IDENTIFIED BY
2022-04-24 11:38:57
219
原创 常用表操作_SQL
增加表字段-- 增加一列alter table [table_name] add [column_name] varchar(10) comment '说明';-- 增加多列alter table [table_name] add columns ([column_name] varchar(20) comment '说明',[column_name] varchar(20) comment '说明');如果想在一个已经建好的表中添加一列，可以用诸如：-- 这条语句会向已有的表t1中加入一列
2022-04-24 11:33:31
559
原创 若依访问上传头像404
图片上传成功不能显示文件上传成功后，请求访问后台地址会根据profile进行匹配，需要自己配置nginx代理，参考如下。location /profile/ { # 方式一：指向地址 proxy_pass http://127.0.0.1:9999/profile/; }location /profile/{ # 方式二：指向目录，对应后台`application.yml`中的`profile`配置 alias /home/ruoyi/uploadPat
2022-04-24 11:27:25
3407
3
原创 Phoenix（SQL On HBase）安装和使用报告
Phoenix（SQL On HBase）安装和使用报告一、为什么使用Phoenix二、安装Phoenix2.1 兼容问题？2.2 编译CDH版本的Phoenix2.3 安装Phoenix到CDH环境中三、Phoenix的使用3.1 phoenix的4种调用方式3.1.1 批处理方式3.1.2 命令行方式3.1.3 GUI方式3.1.4 JDBC调用3.2 Phoenix的...
2022-02-15 10:23:29
977
原创 JAVA设计模式总结之23种设计模式
JAVA设计模式总结之23种设计模式一、什么是设计模式设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真正工程化，设计模式是软件工程的基石，如同大厦的一块块砖石一样。项目中合理的运用设计模式可以完美的解决很多问题，每种模式在现在中都有相应的原理来与之对应，每一个模式描述了一个在我们周围不断重复发生的问题，以及该
2022-02-15 10:20:54
505
原创 spark的shuffle和原理分析
spark的shuffle和原理分析1 、概述 Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂。 在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce；而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程中，往往伴随着大量的磁盘和网络I/O。所以shuffle性能的高低也直接决定了整个程序的性能高低。Spark也会有自己的shuffle实现过程。
2022-02-15 10:20:18
172
原创 hive中的lateral view 与 explode函数的使用
hive中的lateral view（） 与 explode函数的使用背景介绍：explode与lateral view在关系型数据库中本身是不该出现的。因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分）。本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），在面向分析的数据库 数据仓库中，发生了改变。explode函数可以将一个array或者map展开，其中explode(array)使得结果中将array列表里的每个元素生成一行；explode(map)使得结果
2021-11-17 11:49:43
792
原创 Hive分析窗口函数 NTILE,ROW_NUMBER,RANK,DENSE_RANK
Hive分析窗口函数NTILE,ROW_NUMBER,RANK,DENSE_RANK数据准备cookie1,2018-04-10,1cookie1,2018-04-11,5cookie1,2018-04-12,7cookie1,2018-04-13,3cookie1,2018-04-14,2cookie1,2018-04-15,4cookie1,2018-04-16,4cookie2,2018-04-10,2cookie2,2018-04-11,3cookie2,2018-04-1
2021-11-17 11:49:11
114
原创 Hive 自定义函数 UDF UDAF UDTF
Hive 自定义函数 UDF UDTF UDAFUDF：用户定义（普通）函数，只对单行数值产生作用；UDF只能实现一进一出的操作。定义udf 计算两个数最小值public class Min extends UDF { public Double evaluate(Double a, Double b) { if (a == null) a = 0.0; if (b == null)
2021-11-17 11:48:39
121
原创 spark任务调度和资源分配
spark任务调度和资源分配1、Spark调度模式 FIFO和FAIR Spark中的调度模式主要有两种：FIFO和FAIR。 默认情况下Spark的调度模式是FIFO（先进先出），谁先提交谁先执行，后面的任务需要等待前面的任务执行。 而FAIR（公平调度）模式支持在调度池中为任务进行分组，不同的调度池权重不同，任务可以按照权重来决定执行顺序。2、资源分配概述spark的分配资源主要就是 executor、cpu per executor、memory per executor、driver
2021-11-17 11:45:29
463
原创 spark相关面试题
spark面试问题收集spark面试问题1、spark中的RDD是什么，有哪些特性RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。Dataset：就是一个集合，用于存放数据的Distributed：分布式，可以并行在集群计算Resilient：表示弹性的RDD的弹性体现在哪里？1、自动的进行内存和磁盘数据存储的切换；2、基于lineage的高效
2021-11-17 11:43:18
60
原创 十大经典排序算法
十大经典排序算法本系列算法整理自：https://github.com/hustcc/JS-Sorting-Algorithm同时也参考了维基百科做了一些补充。排序算法是《数据结构与算法》中最基本的算法之一。排序算法可以分为内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。常见的内部排序算法有：插入排序、希尔排序、选择排序、冒泡排序、归并排序、快速排序、堆排序、基数排序等。用一张图概括：点击以下图片查看
2021-11-17 11:35:28
159
原创 JAVA设计模式总结之23种设计模式
JAVA设计模式总结之23种设计模式一、什么是设计模式设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真正工程化，设计模式是软件工程的基石，如同大厦的一块块砖石一样。项目中合理的运用设计模式可以完美的解决很多问题，每种模式在现在中都有相应的原理来与之对应，每一个模式描述了一个在我们周围不断重复发生的问题，以及该
2021-11-17 11:31:55
279
原创 Python下定时任务框架APScheduler的使用
Python下定时任务框架APScheduler的使用1.APScheduler简介：APScheduler是Python的一个定时任务框架，可以很方便的满足用户定时执行或者周期执行任务的需求，它提供了基于日期date、固定时间间隔interval 、以及类似于Linux上的定时任务crontab类型的定时任务。并且该框架不仅可以添加、删除定时任务，还可以将任务存储到数据库中，实现任务的持久化，所以使用起来非常方便。2.APScheduler安装：APScheduler的安装相对来说也非常简单，可以
2021-01-08 08:55:01
873
原创 Python logging 模块详解
Python logging 模块详解Python logging 模块定义了为应用程序和库实现灵活的事件日志记录的函数和类。程序开发过程中，很多程序都有记录日志的需求，并且日志包含的信息有正常的程序访问日志还可能有错误、警告等信息输出，Python 的 logging 模块提供了标准的日志接口，可以通过它存储各种格式的日志,日志记录提供了一组便利功能，用于简单的日志记录用法。使用 Python Logging 模块的主要好处是所有 Python 模块都可以参与日志记录Logging 模块提供了大
2021-01-06 17:24:27
231
原创 Python打包(pyinstaller&nuitka)
Python PyInstaller安装和使用教程在创建了独立应用（自包含该应用的依赖包）之后，还可以使用 PyInstaller 将 Python 程序生成可直接运行的程序，这个程序就可以被分发到对应的 Windows 或 Mac OS X 平台上运行。安装 PyInstallePython 默认并不包含 PyInstaller 模块，因此需要自行安装 PyInstaller 模块。安装 PyInstaller 模块与安装其他 Python 模块一样，使用 pip 命令安装即可。在命令行输入如下命
2021-01-06 17:22:49
4841
1
转载 Windows Server2012远程桌面服务配置和授权激活
Windows Server2012远程桌面服务配置和授权激活听语音Windows Server 2012 默认远程桌面连接数是2个用户，如果多余两个用户进行远程桌面连接时，系统就会提示超过连接数。如果需要实现多用户远程登录则需要通过添加远程桌面授权解决。工具/原料Windows Server 2012 系统建议新装系统并且断网环境下准备一台可上外网的电脑远程桌面服务安装和配置打开“服务器管理器”，切换到“仪表板”界面。选择**“添加角色和功能尔”。**根据提示依次，下
2020-07-05 19:46:15
9638
转载 java 从网上下载文件的几种方式和基于零拷贝技术的的java NIO文件下载服务器
什么是零拷贝？我们首先来认识一下传统的I/O操作。假如说用户进程现在要把一个文件复制到另一个地方。那么用户程序必须先把这个文件读入内存，然后再把内存里的数据写入另一个文件。不过文件读入内存也不是直接读入用户进程的内存，而是先读入操作系统内核的内存，然后再从操作系统内核的内存区读到用户进程的内存。与之对应的是，写文件也不是直接写到磁盘上的文件，而是用户进程先把自己内存的数据传到操作系统内核...
2020-04-29 11:14:38
1954
原创 文件下载并计算进度
/** * 拿到HttpResponse后读取 content-length 头， * 读取InputStream的时候根据已经读取到的byte数，算出百分比。 * * @param is * @param len * @throws IOException */ private static Integer read...
2020-04-29 10:04:52
585
原创 java读取目录下最新修改的文件
File path=new File("文件夹地址");//列出该目录下所有文件和文件夹File[] files = path.listFiles();//按照目录中文件最后修改日期实现倒序排序Arrays.sort(files, new Comparator<File>() { @Override public int compare(File file1, Fi...
2020-04-01 12:00:55
1919
2
转载 maven项目中批量导入jar包
本文转载自 wangjianbing1998 [查看原文](https://blog.csdn.net/wangjianbing1998/article/details/77606597)在 maven项目中批量导入jar包，使用的是python代码工具类，自己编写的，其中只需要把这个py文件放到jar包的同一个目录下，双击这个py文件即可批量安装，并且自动生成一个out.xml文件，这个文...
2020-03-23 17:59:36
2008
原创 Java计时函数
Java计时函数currentTimeMills() System.currentTimeMills()计时精确到毫秒级，跟计算机以1970年1月1日0时为计时起点一样，该函数方法统计的也是从1970年1月1日0时开始，到程序运行到该函数时刻的毫秒总数。 该函数方法定义在Java系统类System中，如果想实现程序运行计时功能，只要在程序前后分别放置该函数方法，然后后减前毫秒总数，就能计算...
2020-03-23 14:14:06
959
转载 转载:Java文件下载的几种方式
原文地址：http://www.cnblogs.com/ungshow/archive/2009/01/12/1374491.htmlpublic HttpServletResponse download(String path, HttpServletResponse response) { try { // path是指欲下载的文件的路径。 ...
2020-03-11 15:38:57
52
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人