TriumPhSK-CSDN博客

原创 SecureCRT上传、下载文件（使用sz与rz）以及失效解决办法

上传、下载设置SecureCRT上传、下载文件路上传目录：使用rz指令，进行上传操作时，弹出的对话框，会默认定位到该目录下下载目录：使用sz指令，进行下载操作后，所下载的文件，默认下载到该目录中。上传文件用rz输入rz回车后，会出现文件选择对话框，选择需要上传文件，一次可以指定多个文件，上传到服务器的路径为当前执行rz命令的目录*下载文件 sz下载一个文件sz filena...

2019-12-16 17:57:56 5398

原创 Python SimpleHTTPServer下载远程服务器文件

Python2 使用的是SimpleHTTPServerpython -m SimpleHTTPServer 8080Python3 合并到了http.serverpython -m http.server 80808080是端口号首先先查看Python的版本（python -V）然后用相应的命令启动Python的http服务，启动完成用主机名加端口号连接点击就可以访问相应的...

2019-08-02 20:32:07 3218

原创 Hive -- 经验总结

本人的工作hive使用经验的一些总结

2019-07-19 20:41:44 1705 1

原创维度建模 -- 星型模型和雪花模型的区别

雪花模型去除了冗余，设计复杂，可读性差，关联的维度表多，查询效率低，但是可扩展性好。星型模型冗余度高，设计简单，可读性高，关联的维度表少，查询效率高，可扩展性低。

2021-10-08 20:56:51 15160 1

原创 Hive中运行任务报错：Error during job, obtaining debugging information...

running beyond physical memory limitsError during job, obtaining debugging information

2021-09-22 17:45:31 800 1

原创 hive group by | distinct区别以及性能比较

select distinct a from t1;select a from t1 group by a;低版本hive执行计划：# distinctStage-Stage-1: Map: 396 Reduce: 1 Cumulative CPU: 7915.67 sec HDFS Read: 119072894175 HDFS Write: 10 SUCCESS# group byStage-Stage-1: Map: 396 Reduce: 457 Cumulative CPU: 1

2021-06-16 14:49:36 1911

原创 Hive -- 窗口分析函数

hive 日常用的窗口函数

2021-06-01 16:03:19 259 2

原创 nohup sh xxx.sh ＞/dev/null 2＞&1 &

nohup sh xxx.sh >/dev/null 2>&1 &进程xxx永久的在后台执行，并将标准输出和标准错误流重定向到linux的空设备&：后台运行，当遇到退出当前shell终端时，后台运行的任务就会终止。因为运行xxx.sh进程的父进程是当前shell终端进程，关闭当前shell终端时，父进程退出，会发送hangup信号给所有子进程，子进程收到hangup以后也会退出。所以要想退出当前shell终端时xxx.sh继续运行，则需要使用nohup忽略hang

2021-01-21 21:04:11 474

原创 hive复制表结构和数据的方法

hive 表复制

2020-12-31 17:10:28 2976

原创 hive同步到pg

将hive库的数据同步到PostgreSQL库中hive同步到pgshell

2020-12-25 16:39:01 2094

原创 pg同步到hive

PostgreSQL数据同步到hive库中pg同步hiveshell

2020-12-25 16:34:35 1485 1

原创 spark问题汇总

遇到的spark问题

2020-12-23 16:31:02 127

原创 python脚本里面运行shell命令的方法

python脚本里面运行shell命令subprocesssubprocess 模块允许我们启动一个新进程，并连接到它们的输入/输出/错误管道，从而获取返回值。subprocess.call()

2020-12-22 11:57:17 572

原创 Hive datediff在处理date格式的问题

hive datediff current_date

2020-12-07 16:23:20 641

原创 Hive问题汇总

1、Failed with exception java.io.IOException:java.lang.RuntimeException: ORC split generation failed with exception: java.lang.ArrayIndexOutOfBoundsException: 6原因是低版本的hive不能读取高版本hive的orc格式的文件

2020-11-25 17:17:47 3403

原创 Flink问题汇总

1、Caused by: java.util.concurrent.CompletionException: org.apache.flink.runtime.messages.FlinkJobNotFoundException: Could not find Flink job找不到job，flink假死重启下服务

2020-11-24 11:08:34 5183

原创 MySQL--常用的操作方法

MySQL常用的操作方法

2020-09-22 11:21:27 77

转载 MYSQL的REPLACE和ON DUPLICATE KEY UPDATE区别

MYSQL的REPLACE和ON DUPLICATE KEY UPDATE区别

2020-09-21 11:37:33 377

原创 MySQL的Replace方法

MySQL的Replace方法replace into方法

2020-09-21 10:49:18 1169

原创 MySQL常用命令

mysql常用命令启动关闭本地MySQL登陆连接本地的MySQL本地cmd连接远程MySQLl数据库

2020-09-17 20:02:34 71

原创 MyBatis mapper.xml中SQL处理小于号与大于号

MyBatis mapper.xml中SQL处理小于号与大于号

2020-09-14 12:02:39 141

原创 IDEA 配置方法注释自动参数

Intellij idea liveTemplate 方法注释之params,return参数自动获取

2020-09-11 15:53:57 1708 1

原创 MySQL -- -- ON DUPLICATE KEY UPDATE

Mysql中INSERT ... ON DUPLICATE KEY UPDATE先查询，如果不存在在插入，如果存在则更新

2020-09-04 18:41:05 274

原创 count(1)、count(*)与count(列名)的执行区别

执行效果：1. count(1) and count(*)当表的数据量大些时，对表作分析之后，使用count(1)还要比使用count(*)用时多了！从执行计划来看，count(1)和count(*)的效果是一样的。但是在表做过分析之后，count(1)会比count(*)的用时少些（1w以内数据量），不过差不了多少。如果count(1)是聚索引,id,那肯定是count(1)快。但是差的很小的。因为count(*),自动会优化指定到那一个字段。所以没必要去count(1)，用c...

2020-09-01 22:51:43 233

原创 Cookie和Session

Cookie和Session

2020-08-26 17:30:11 111

原创 SQL注入及解决

SQL注入解决方法

2020-08-25 19:29:48 206

原创 volatile

volatile 是一个类型修饰符。volatile 的作用是作为指令关键字，确保本条指令不会因编译器的优化而省略。volatile 的特性保证了不同线程对这个变量进行操作时的可见性，即一个线程修改了某个变量的值，这新值对其他线程来说是立即可见的。（实现可见性）禁止进行指令重排序。（实现有序性）volatile 只能保证对单次读/写的原子性。i++ 这种操作不能保证原子性。关于volatile 原子性可以理解为把对volatile变量的单个读/写，看成是使用同一个锁对这些单个读/写操作做了同步

2020-08-21 16:04:06 87

原创 intellij idea使用maven本地仓库及修改本地仓库路径

修改Maven本地库的位置https://blog.csdn.net/qq_38821502/article/details/91898578修改intellij ideaFile -> SettingBuild, Execution, Deployment -> Build Tools -> Maven修改图中红框的内容，将其改为本地的Maven库

2020-07-06 14:20:12 795

原创进程和线程的区别？

1、根本区别：进程是操作系统资源分配的基本单位，而线程是任务调度和执行的基本单位2、进程有自己的独立地址空间，每启动一个进程，系统就会为它分配地址空间；而对线程而言，除了CPU外，系统不会为线程分配内存（线程所使用的资源来自其所属进程的资源），线程组之间只能共享资源。3、在操作系统中能同时运行多个进程（程序）；而在同一个进程（程序）中有多个线程同时执行（通过CPU调度，在每个时间片中只有一个...

2020-03-25 16:53:19 175

原创 Hadoop的冷备、热备

冷备份： Hadoop1.X ：NameNode（主） SecondaryNameNode（从）在Hadoop1.X中，SecondaryNameNode会按照时间阈值（比如24小时）或者edits日志大小阈值（比如1G），周期性的将fsimage和edits合并成新的fsimage并替换，然后将最新的fsimage推送给NameNode，减少 NameNode 启动时间；非实时merge，一...

2020-03-25 09:42:08 2215

原创 N叉树的前序、后序、层级遍历

N叉树的前序遍历LeetCode链接：https://leetcode-cn.com/problems/n-ary-tree-preorder-traversal/递归class Solution { List<Integer> list = new ArrayList(); public List<Integer> preorder(Node roo...

2020-01-15 16:45:43 253

原创 JAVA常用的方法

java 常用的工具方法

2020-01-02 23:01:12 118

原创 YARN的运行原理

Client向ResourceManager请求运行一个mapreduce程序。ResourceManager返回hdfs地址，告诉Client将作业运行相关的资源文件上传到hdfs。Client提交mr程序运行所需的文件（包括作业的jar包，作业的配置文件，分片信息等）到hdfs上。作业相关信息提交完成后，客户端用过调用ResourcrManager的submitAppl...

2019-10-19 00:49:55 153

原创 String.valueOf(null)

在hive数据同步到hbase时，hive中出现null，导致hbase中出现"null"，线上要求不为空，然后查原因，发现String.valueOf(null)返回的为"null"。public class Main{ public static void main(String[] args) { String s = null; System.ou...

2019-09-29 17:30:23 952

原创计算机网络

TCP为什么可靠？三次握手，超时重传，滑动窗口，拥塞控制。讲一下浏览器从接收到一个URL到最后展示出页面，经历了哪些过程？DNS解析。TCP连接。发送HTTP请求。服务器处理请求并返回HTTP报文。浏览器解析渲染页面。...

2019-09-27 00:27:12 128

原创面试总结--JAVA

java 集合都有哪些？集合类型主要有3种：set(集）、list(列表）和map(映射)。1）List（有序、可重复）List里存放的对象是有序的，同时也是可以重复的，List关注的是索引，拥有一系列和索引相关的方法，查询速度快。因为往list集合里插入或删除数据时，会伴随着后面数据的移动，所有插入删除数据速度慢。2）Set（无序、不能重复）Set里存放的对象是无序，不能重复的，集合...

2019-09-24 18:32:22 157