自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Liu_Arvin的芝士小栈

非计算专业的自学程序员,所以底子薄,所以再怎么努力也不为过吧~

原创 IntelliJ IDEA terminal(终端)更改为powershell

Windows下IDEA的默认终端是cmd,还是喜欢使用powershell,更改很方便,记录下。 默认的终端cmd(不支持ls,pwd等命令) 更改方式 setting - Tools - Terminal(或者搜索terminal) 直接更改cmd.exe为powershell.exe(直...

2019-12-19 10:00:16 1239 0

原创 Windows开发神器Windows Subsystem for Linux(WSL)安装及使用指南

Q:Linux最好的发行版是那个? A:WIndows 10 with WSL ???? 背景: 之前一直使用Ubuntu 18作为开发环境,但是有些软件仅仅支持Windows等平台,所以还是要双系统, ...

2019-12-14 17:34:57 395 0

原创 Hive中group和join原理解析

时隔两年多,趁晴朗闲暇,把这篇博文补上。 前言 我们知道了MapReduce的执行过程(MapReduce简介),也了解了Hive的基本原理(Hive简介),也了解了Hive在执行时是被转换为一个个MR任务去执行,这时,我们一定会好奇,某一条SQL是如何转化为MR的,又是如何执行的呢? 下面将从...

2019-11-23 16:22:41 95 0

原创 两种方式实现Node.js的同步request(支持添加proxy代理)

两种方式实现Node.js的同步request(支持添加proxy代理)两种方式实现Node.js的同步request(支持添加proxy代理)1 解决同步问题1.1 通过`sync-request`实现GET request without optionsGET request with opt...

2019-11-10 11:52:53 440 0

原创 Ubuntu安装多用户免密登录Jupyterhub

准备工作: 已配置apt和pip3源,如未配置,请参考:ubuntu资源整理 注:以下操作均使用root权限操作 1 安装依赖npm、nodejs apt install -y npm nodejs # root 如果安装npm失败,多半是没有安装libssl1.0-dev(可以通过报错信...

2019-09-10 10:19:36 573 0

原创 Ubuntu安装、使用、美化帖子汇总

汇总下进三个月Ubuntu的使用心得 镜像 Ubuntu国内镜像下载地址 安装 Ubuntu安装教程1 Ubuntu安装教程2 常用软件安装 查看版本 lsb_release -c 选择对应的源 19 disco 18 bionic apt简介 安装配置pip3 安装pip3&更换pi...

2019-08-15 09:23:56 93 0

原创 git远程服务器创建仓库并提交代码

最近需要在git托管的服务器新建一个repository,因很少做此操作,故记录下 1 创建repository(test) 1.1 登录服务器并创建目录 ssh xx.xx.xx.xx 在目标路径创建仓库test mkdir test.git 1.2 初始化为仓库 git init --ba...

2019-08-14 20:19:14 96 0

原创 Pycharm 断点调试(Debug)时使用控制台(Console)打印或操作变量(类似于wing6.0)

Pycharm 断点调试(Debug)时使用控制台(Console)打印或操作变量(类似于wing6.0)1 准备2 断点调试3 进入控制台 Pycharm是个很强大的工具,工作过程中我们经常会用到Debug进行程序调试,Debug过程可以查看到各个变量的值,但是开发过程中,我们经常需要随时打印变...

2019-07-05 15:49:42 4736 3

原创 Ubuntu(Debian)截图并编辑软件推荐:Flameshot(实现类似QQ的截图功能,具有插入文字功能)

Ubuntu(Debian)截图并编辑软件推荐:Flameshot(实现类似QQ的截图功能)一 简介二 安装三 快捷键绑定四 测试五 总结 笔者的主力操作系统切换为Ubuntu,说不出的酸爽,但唯有一点让人头痛,就是系统自带的截图功能并不可以编辑截下的图(如下图),找寻了许久,有推荐Shutter...

2019-07-05 15:08:03 4192 2

原创 Ubuntu搭建ftp服务器

Ubuntu搭建ftp服务器ftp服务1、安装vsftpd2、配置参数3、创建用户 ftpuser4、配置登陆用户5、重启ftp6、验证①登陆验证②上传下载文件验证 ftp服务 最近切换到了Ubuntu系统,使用挺方便的,完全可以满足开发的需求,现记录下Ubuntu搭建ftp服务的过程。 ftp...

2019-06-26 16:17:40 564 0

原创 Oracle回收站(RECYCLEBIN)详解&关于Oracle中BIN$开头表

Oracle回收站(RECYCLEBIN)详解前言RECYCLEBIN1. What Is the Recycle Bin?Recycle Bin对象命名2.查询管理Recycle Bin(开闭状态、信息等)2.1 Recycle Bin开闭状态2.1.1 查询Recycle Bin开闭状态2.1...

2019-02-01 16:36:17 518 0

原创 crontab的默认执行路径问题

在Linux下,执行路径经常会影响一个程序的执行结果,最近用到crontab命令,好奇crontab的默认执行路径。 结论: crontab的默认执行路径为:当前用户的根路径。 如果希望改变执行路径,可以通过简单的shell编程的方式(见下文)。 如果不确定执行的路径,可以通过shell编程的方式...

2018-11-01 10:38:01 7035 0

原创 解决Oracle缺少动态链接库cannot open shared object file: No such file o;解决 Linux中python脚本执行无问题,配置crontab定时任务报错

问题描述:一段需要import cx_Oracle的python代码,在Linux下直接执行不会报错,但是配置在crontab中执行报错,报错信息如下: cx_Oracle.DatabaseError: DPI-1047: 64-bit Oracle Client library canno...

2018-10-12 15:07:34 1811 0

原创 Linux安装Anaconda

1 下载Anaconda 方式一 通过wget方式 wget https://repo.continuum.io/archive/Anaconda3-5.2.0-Linux-x86_64.sh 方式二 从官网下载Linux版本的Anaconda并上传到服务器中:anaconda下载 注...

2018-09-17 17:29:24 3298 3

原创 Python中list列表的动态筛选操作

目前在做文本主题提取和分词,遇到一个很有意思的低级问题,同时可以体现一种很普遍的解题思路,现记录下来。 如下,有个list,对,就是这货。 bad_sents = ['此条工单内容显示:该市民反应的问题是'] sents = ['此条工单内容显示:该市民反应...

2018-09-10 18:33:52 3910 0

原创 Python通过cx_Oracle插入clob类型数据

最近通过Python插入Oracle数据时,遇到一个小问题,现记录下。 需求描述: 将长度大于4000的字符插入clob类型的字段中; 解决过程:将string对象转化为clob对象,代码如下: # -*- coding: utf-8 -*- """ Cr...

2018-09-10 18:27:09 1946 1

原创 Oracle恢复被删除表&彻底删除表方式

概述: 工作过程中,会出现误删表的情况,这时,可以通过flashback的方式恢复被删除的表。 通过 flashback table table_name to before drop; 语句可以实现恢复表的功能。 如果想要完全删除,在最后增加purge即可。 drop table...

2018-08-02 16:53:00 5135 1

原创 Oracle内存结构

1.概述 Oracle数据库:每个Oracle都由一个数据库实例和一系列物理文件组成。 即,Oracle数据库由一系列后台进程、内存及文件组成。 当启动一个数据库时,Oracle会分配一个被称为系统全局区SGA的共享内存区,同时会启动多个后台进程,他们共同构成了一个Oracle实例。 ...

2018-07-26 17:26:22 1511 0

原创 Java学习16:数组声明和数组元素的三种初始化方式

概述: 数组元素有三种初始化方式: 默认初始化, 数组元素相当于对象的成员变量,默认值跟成员变量规则一致 动态初始化,动态的为数组的每个元素赋值 静态初始化,声明时就传入元素 代码演示 数组的声明 数组声明有方式: 如下,分别声明数组a和b,两者并没什么区别,只是书写上的区分。...

2018-07-07 16:16:16 209 0

原创 Python爬虫:爬取美团、大众点评、去哪儿、驴妈妈网站评论信息

前些天接到需求,需要给客户爬取美团、大众点评、去哪儿、驴妈妈等网站的景区和酒店的评价相关信息。虽然我是做数据库的,之前也没写过Python爬虫,但只能硬着头发上。这里坐下简短的总结。 1 考虑爬取方式 最先考虑仅采取 webdriver + selenium 的方式爬取信息,但是考虑后...

2018-07-03 11:19:37 15621 7

原创 Linux离线安装cx_Oracle & 在线安装cx_Oracle

通过Python程序连接Oracle数据库,放在Linux服务器执行,但是缺少cx_Oracle模块,并且服务器无法联网,通过离线的方式安装。 1.准备 确定Python版本并下载相关的软件包。 Python 2.6.6,则需要下载cx_Oracle-5.2.1-11g-p...

2018-07-02 14:52:25 2536 2

原创 Java学习15:数组基本概念及内存分析

1.概述 数组是引用类型; 数组是相同类型数据(可以是任意相同类型)的有序集合; 数组是对象,数组元素相当于对象的成员变量; 数组长度是确定的,不可变的。如果越界,报错:ArrayIndexOutofBoundsException。 如下,我们创建一个简单数组,并通过内存图进行分析。 ...

2018-06-30 19:31:11 148 0

原创 通过Java实现url接口返回的Json数据定时入库

通过Java实现url接口返回的Json数据定时入库 一、概述 接到一个需求,需要访问url并传入参数,将url返回Json数据入库进行筛选分析。 数据的筛选分析这里掠过,主要记录通过使用Java实现数据的定时入库。 二、处理逻辑 1.通过Java访问url,得到返回的Json数...

2018-06-14 14:28:08 2063 2

原创 新技能Get:使用excel更换证件照背景

经常遇到证件照更换背景色的需求,学习了一种通过excel的方式更换背景,记录下。 工具:excel2013 插入照片 打开excel并插入需要修改的照片,如下图: 去掉背景色 双击照片,进入格式界面。 点击删除背景按钮。 调整需要保留的图片大小。 点击删除背景,标记保留的区...

2018-05-11 17:30:43 4150 0

原创 Oracle创建DBlink

create public database link likn_name connect to user_name identified by "password" using '(DESCRIPTION = (ADDRESS_LIST = ...

2018-04-20 17:01:54 128 0

原创 Mysql 实现表关联查询更新

有如下需求: 根据B表的b字段更新A表的a字段,关联条件B.id=A.id。 当B表的b字段>0,a字段更新为1,否则更新为-1。 语句如下: update A t inner join (select id, case when b>=0 then 1 ...

2018-04-20 15:53:15 2833 1

原创 DB2 到 Oracle 函数迁移

有如下需求,将DB2的自定义函数迁移到Oracle,现做一下记录。 DB2函数: --DB2 CREATE FUNCTION "QUAL"."CHECKINDEXSTATUS" ("CRNT_VAL" DECIMAL(20, 2...

2018-04-19 09:25:43 604 0

原创 Python3学习过程中遇到的小问题

1. input()函数 input函数的返回结果是字符串String类型,如果要进行数字的相加减,需要进行类型转换。如下: 在不进行转换时会报错: x=input('Please input first num:') y=input('Please inp...

2018-03-21 17:16:04 145 0

原创 Java学习:方法的回调rollback,模板方法设计模式

在实际的开发工作中,我们时常会调用其他人写的方法。 模板方法设计模式(23种之一)   定义一个操作中算法的骨架,而将一些步骤延迟到子类中,模板方法使得子类可以不改变算法的结构即可重定义该算法的某些特定步骤。 可以这样理解,调用一个方法,只写父类(或者接口),该方法的形参为父类,实参...

2018-03-19 20:08:28 1226 0

转载 Linux系统学习1:Linux简介

本文转自:菜鸟教程 Linux简介 Linux内核最初由Linus Torvalds在赫尔辛基大学上学时出于个人爱好编写。 Linux是一套免费使用和自由传播的类Unix操作系统。是一个基于POSIX和UNICX的多用户、多任务、支持多线程和多CPU的操作系统。 Linux能运行主要的UN...

2018-03-16 17:26:15 220 0

原创 Oracle学习13:树状结构表的存储和展示

在实际工作中,经常会遇到建立树状结构表的需求。 最常见的方式,是通过ID和P_ID(父ID)的方式仅存存储,虽然可以实现,但是当我们查询数据时,并不清晰方便。我们可以通过增加冗余字段 isleaf:判断是否是叶子节点。0代表非叶子节点,1代表叶子节点。叶子节点表示没有子节点。 alevel:...

2018-03-16 14:31:30 597 0

原创 ORACLE学习12:存储过程procedure

1.概述 存储过程也是一种PL/SQL块,是存入数据库的PL/SQL块。 但存储过程不同于已经普通的PL/SQL程序,我们通常把PL/SQL程序称为无名块,而存储过程是以命名的方式存储于数据库中的。 因此,我们可以这样理解,为PLSQL程序块起个名字,不用每次都编译,可以直接调用,就是存储过...

2018-02-27 16:40:02 760 0

原创 PLSQL中通过procedure循环调用另一个procedure补数据

工作中,遇到了如下需求,有一个存储过程,通过配置的Job任务每天刷数据,后来发现,存储过程逻辑错误,需要重新刷数据,即:需要把20170701到20180131的数据重新跑一遍。即把20170701-20180131的所有日期重新作为参数传入到我的存储过程中pro_kf_dp_hot_up_map...

2018-02-25 10:43:41 692 0

原创 Oracle学习11:游标(cursor)--显式游标&隐式游标、游标四个属性、循环遍历

1.概述 上文PLSQL学习中提到的知识,可以发现,基本都可以通过Java等语言实现,而为了实现程序的可移植性,实际开发工作中我们也是如此做的。 那么PLSQL的重点是什么呢?接下来我们来介绍游标cursor的概念。 之前提到,在不使用显式游标的情况下,PLSQL的中select语句只能返回...

2018-02-23 15:54:52 1557 0

原创 ETL之kettle使用总结:(批量、含常量)csv入库

本文实验的ktr文件:ktr文件 1.概述 18年开工第一天,做下Kettle的使用总结。 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。 关于kettle的下载及安装这里不赘述,此处仅介绍工作过程中最常见的三...

2018-02-22 15:58:18 13254 0

原创 Oracle学习10:PLSQL学习

1. PLSQL概述 PLSQL是Oracle内部的一种编程语言。 PLSQL是一门语言。叫做过程化SQL语言(Procedural Language SQL) PLSQL是一种过程化语言,属于第三代语言,它与C、C++、Java等语言一样关注于处理细节,可以用来实现比较复杂的业务逻辑。 ...

2018-02-05 16:21:15 557 0

原创 抽象类和接口

1.抽象类 含有抽象方法的类是抽象类。使用abstract关键字修饰。 抽象类可以有普通方法,属性,构造器(通过子类调用)。 1.1抽象方法 抽象方法,只有方法的声明,没有方法体。使用abstract关键字修饰。 如下我们创建一个抽象类Animal public abstrac...

2018-01-24 18:44:14 127 0

原创 row_number() over()计算每组前几个和前百分之几

1. row_number() over() 语法 ROW_NUMBER() OVER(PARTITION BY COLUMN1 ORDER BY COLUMN2 [desc]) 根据column1分组,根据column2排序 2.具体事例 如下,我们通过具体实例进行理解分析。 有...

2018-01-24 18:02:26 2536 0

原创 PLSQL developer使用技巧

1.调整字体 PLSQL Developer的默认字体是大小是小五,看起来比较小。 我们可以通过以下方式将字体改编为五号字体。 工具-首选项-用户界面-字体-浏览器(编辑器、表格)-选择-大小五号。 2.文本替换 文本替换可以极大提高我们敲写SQL的效率。替换方式如下: ...

2018-01-24 15:08:24 3088 0

原创 Oracle按日周月分组统计,及next_day()函数详解

1.概述 工作中遇到如下问题:统计周期内关键词数,而这里的周期内最常用的就是日周月。 日月比较容易处理,周的话可以通过next_day()函数实现。 2.实例问题 如下,有一张表ljb_test,包括两个字段:test_time DATE,city varchar2(4)。 下面我想...

2018-01-19 11:21:18 2443 0

提示
确定要删除当前文章?
取消 删除