qiulinsama的博客

原创 使用Spark SQL JDBC

Spark SQL JDBC我们可以使用一个 JDBC 的链接来定义一个 Spark SQL 的表或者视图，这里用表来做示例：我们先在 mysql 中建立一个需要同步的表 test：CREATE TABLE my.test ( id BIGINT ( 20 ) PRIMARY KEY NOT NULL auto_increment, create_time TIMESTAMP NOT NULL COMMENT '创建时间', name VARCHAR ( 127 ) COMMENT '用户姓名'

原创 多个Kylin共用一套HBase和Hadoop解决方案

在项目中有时代码开发分为开发环境和生产环境，kylin虽然支持多个project，但是每个project中的model不能同名，就造成了需要多个kylin集群来适配不同的代码环境。又因为kylin依赖hbase，hive，hdfs，zookeeper，spark这些组件，再完整弄一套集群过于麻烦。故此文给出一种解决方案。所使用的kylin版本为2.6.4首先kylin的主要配置文件为$KYLIN_HOME/kylin.properties,本文并不会详解其中的所有配置，只会拿出我们需要的配置进行操作.

原创 生成Hive数据字典

生产中Hive的元数据存储在MySQL中，构建数据字典我们可以通过查询元数据表，导出查询结果后生成自己想要的文档。下面我会一步一步介绍如何生成markdown格式的数据字典文档。定义SQL首先废话不多说，贴出我们需要的在MySQL中使用的SQL。SELECT a. NAME as SCHEMA_NAME,-- 数据库名称 t.TBL_NAME as TABLE_NAME,-- 表名 ...

原创 移除元素 Leecode 27. Remove Element

Given an array nums and a value val, remove all instances of that value in-place and return the new length.Do not allocate extra space for another array, you must do this by modifying the input array...

原创 Hadoop格式化hdfs

1.删除目录格式化NameNode时，会产生新的clusterID,导致NameNode和DataNode的clusterID不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。data数据目录在hdfs-site.xml中的dfs.datanode.data.dir。 <property>...

原创 命令提示符显示-bash-4.1$解决

有时候在使用用户登陆Linux系统时会发现，命令行提示符成了：-bash-4.1$，不显示用户名，路径信息。原因：用户家目录里面与环境变量有关的文件被删除所导致的也就是这俩文件：.bash_profile.bashrc这两个文件被删除了，导致了这个错误解决方法：从/etc/skel把丢失的文件 复制回来就可以了那么这个 /etc/skel 目录是干啥的呢？skel 是 skel...

原创 Linux查看登录IP以及所做操作

whowho - 是显示目前登录系统的用户信息。执行who命令可得知目前有那些用户登入系统，单独执行who命令会列出登入帐号，使用的终端机，登入时间以及从何处登入。-b, --boot 最近一次系统启动的时间-m：打印当前连接客户端使用的用户以及连接的客户端的IP，此参数的效果和指定"am i"字符串相同；ww - 用于显示已经登陆系统的用户列表，并显示用户正在执行的指令。执行这个...

原创 LeetCode 从排序数组中删除重复项 26. Remove Duplicates from Sorted Array

Given a sorted array nums, remove the duplicates in-place such that each element appear only once and return the new length.Do not allocate extra space for another array, you must do this by modifyin...

转载 冒泡排序

冒泡排序无疑是最为出名的排序算法之一，从序列的一端开始往另一端冒泡（你可以从左往右冒泡，也可以从右往左冒泡，看心情），依次比较相邻的两个数的大小（到底是比大还是比小也看你心情）。以下代码实现从小到大输出。Pythondef bubble_sort(origin_items, comp=lambda x, y: x > y): """冒泡排序""" items = origin_it...

转载 选择排序

选择排序的思路是这样的：首先，找到数组中最小的元素，拎出来，将它和数组的第一个元素交换位置，第二步，在剩下的元素中继续寻找最小的元素，拎出来，和数组的第二个元素交换位置，如此循环，直到整个数组排序完成。至于选大还是选小，这个都无所谓，你也可以每次选择最大的拎出来排，也可以每次选择最小的拎出来的排，只要你的排序的手段是这种方式，都叫选择排序。def select_sort(origin_item...

原创 有趣的网站汇总

学习git分支 https://learngitbranching.js.org/演示git命令效果 http://git-school.github.io/visualizing-git/网页版redis https://try.redis.io/

原创 Oracle Data Pump 使用expbp 和 impdp 导出和导入

预备创建dmp文件存放文件夹，不创建后面会发生错误。mkdir -p /opt/oracle/dmp1、创建directory数据库对象并授权sqlplus / as sysdbaSQL> create or replace directory dmp as '/opt/oracle/dmp'; //创建逻辑目录，dmp文件存放地址，oracle不会帮你创建/opt/o...

翻译 Hadoop YRAN Architecture

Apache Hadoop YARNYARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。 我们的想法是拥有一个全局ResourceManager（RM）和每个应用程序ApplicationMaster（AM）。 应用程序可以是单个作业，也可以是作业的DAG（有向无环图）。ResourceManager和NodeManager构成了数据计算框架。 ResourceManag...

原创 Oracle的单行函数，聚合函数和分析函数

数据源如图：Single-Row Functions 单行函数单行函数会给查询到的结果集的每行返回一个值。例如 nvl()：select a.*,nvl(comm,0) newcomm from EMP a结果如下：可见上图，单行函数针对结果集的每一行都执行了一次并返回了一个值。Aggregate Functions 聚合函数聚合函数根据每个group返回一个值。例如SUM...

原创 git 修改刚刚的commit

commit未push到origin(远端)现在最新的commit如图所示，添加了一行输出代码，只提交到了本地仓库，没有push到远端。现在我觉得这个commit不好，我想修改一下，但是又不想再弄一个commit，例如加一行代码注释，或者修改一下commit的描述。例如，我现在加了一行代码注释：的确，我直接提交这次修改的代码不会有任何问题，但是我就是有强迫症，耶稣也拦不住我，我不想再提交...

原创 LEFT SEMI JOIN 左半开连接

  左半开连接（LEFT SEMI JOIN）会返回左边表的记录，前提是其记录对于右边表满足 ON 语句中的判定条件。对于常见的内连接（INNER JOIN）来说，这是一个特殊的，优化了的情况。大多数的SQL方言会通过 IN … EXISTS 结构来处理这种情况。例如下面所示的查询，其将试图返回限定的股息支付日内的股票交易记录，不过这个查询 Hive 是不支持的。-- HIVE中不支持的查询S...

转载 Mybatis 中$和#

Mybatis 中$和#千万不要乱用！开头这是一次代码优化过程中发现的问题，在功能优化后发现部分数据查不到出来了，问题就在于一条sql上的#和$。下图为两条sql：从图上可以看出 wwlr.LabelId in(${showLabels}) 和 wwlr.LabelId in(#{showLabels})，其中showLabels是传进来一个字符串类型的参数，参数的样子是这样的“4,44...

原创 Centos7 yum 出现 could not retrieve mirrorlist 解决方案

步骤一：检测网卡是否已经启动1.使用root身份登录2.# vi /etc/sysconfig/network-scripts/ifcfg-ens333.ONBOOT=yes4.:wq保存5.重启网络服务 service network restart步骤二：配置DNS服务器1. vi /etc/resolv.conf2.添加字段： nameserver 114.114.11...

转载 Hive如何实现join操作

Hive如何实现join操作这两张表都有一个相同的字段userid，根据这个字段可以将两张表连接起来，pv_users表，SQL命令是SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid);同样，这个SQL命令也可以转化为MapReduce计算，连接的过程如下图所示。从图上看，...

转载 MapReduce实现SQL的原理

MapReduce实现SQL的原理对于常见的一条SQL分析语句，MapReduce如何编程实现？SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age;这是一条非常常见的SQL统计分析语句，统计不同年龄的用户访问不同网页的兴趣偏好，对于产品运营和设计很有价值。具体数据输入和执行结果请看下面的图示。左边是要分析的数据...

原创 查看Linux系统版本信息

1.uname -r （Linux查看版本当前操作系统内核信息）2.cat /proc/version （Linux查看当前操作系统版本信息）3.cat /etc/issue 或cat /etc/redhat-release（Linux查看当前操作系统发行版信息）...

原创 Shell 中 set -e 和 set -x

set -e 和 set -x在你开始构思并写下具体的代码逻辑之前，先插入一行set -e和一行set -x。set -x会在执行每一行 shell 脚本时，把执行的内容输出来。它可以让你看到当前执行的情况，里面涉及的变量也会被替换成实际的值。set -e会在执行出错时结束程序，就像其他语言中的“抛出异常”一样。（准确说，不是所有出错的时候都会结束程序，见下面的注）注：set -e结束程序...

原创 Oracle函数之DECODE函数

1.语法2.用途DECODE 函数将 expr 与 search 的值逐个比较。如果 expr 与 search 值相等，Oracle 返回 search 相应的 result。如果 expr 与 search 值都不匹配，Oracle 返回 default，如果没有函数中没有赋值 default，Oracle 返回 null。这些参数可以是任何数字类型（NUMBER, BINARY_F...

原创 Mysql查看最大连接数和修改最大连接数

1、查看最大连接数show variables like '%max_connections%';2、修改最大连接数set GLOBAL max_connections = 200;以下的文章主要是向大家介绍的是MySQL最大连接数的修改，我们大家都知道MySQL最大连接数的默认值是100, 这个数值对于并发连接很多的数据库的应用是远不够用的，当连接请求大于默认连接数后，就会出现无法连...

原创 Linux之scp命令及后台运行scp

scp是 secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。不仅可以把本地文件复制到远程服务器，也可以在本地操作，把远程文件从远程复制到本地。1、从本地复制到远程命令格式：scp local_file remote_username@remote_ip:remote_folder 或者 scp local_file remote_...

原创 Oracle科学计数法转换控制小数显示位数

当使用oracle进行数据计算时，当数据过小会出现科学计数法，例如：4.13693246457752E-6这个时候可以使用to_char函数进行数字位数控制。SELECT TO_CHAR(number, 'fmt') FROM DUAL;例子：select a.arrivalavgrate arrivalavgrate1, to_char(a.arrivalavgra...

原创 Hive UDTF

UDTF:用户自定义表生成函数，表生成函数接受0个或多个输入然后产生多列或多行输出。例如：select array(1,2,3) from dual;//注意，dual表中需要有数据结果为：然后我们使用一个表生成函数explode()样式描述explode(ARRAY array)返回0到多行结果，每行对应输入的array数组中的一个元素。explode(...

原创 LeetCode 合并两个有序链表 21. Merge Two Sorted Lists

Merge two sorted linked lists and return it as a new list. The new list should be made by splicing together the nodes of the first two lists.Example:Input: 1->2->4, 1->3->4Output: 1-&g...

原创 LeetCode 括号匹配 20. Valid Parentheses

Given a string containing just the characters ‘(’, ‘)’, ‘{’, ‘}’, ‘[’ and ‘]’, determine if the input string is valid.An input string is valid if:Open brackets must be closed by the same type of bra...

转载 Linux之挂载

关于挂载的作用一直不是很清楚，今天在阅读教材时看见了mount这个命令，发现它的用处很隐晦但非常强大。奈何教材说的不明朗，因此在网上整合了一些优秀的解释，看完之后豁然开朗。1.提一句Windows下，mount挂载，就是给磁盘分区提供一个盘符（C,D,E,…）。比如插入U盘后系统自动分配给了它I:盘符其实就是挂载，退优盘的时候进行安全弹出，其实就是卸载unmount。2.Linux下，不像Wi...

原创 LeetCode 最长公共前缀 14. Longest Common Prefix

Write a function to find the longest common prefix string amongst an array of strings.If there is no common prefix, return an empty string “”.Example 1:Input: ["flower","flow","flight"]Output: "f...

原创 LeetCode 罗马数 13. Roman to Integer

Roman numerals are represented by seven different symbols: I, V, X, L, C, D and M.Symbol ValueI 1V 5X 10L 50C 100D ...

原创 Hive：Alter Table/Partition/Column

Alter Table/Partition/ColumnAlter TableRename TableAlter Table PropertiesAlter Table CommentAdd SerDe PropertiesAlter Table Storage PropertiesAlter Table Skewed or Stored as DirectoriesA...

原创 回文数 Leecode 9. Palindrome Number

Determine whether an integer is a palindrome. An integer is a palindrome when it reads the same backward as forward.Example 1:Input: 121Output: trueExample 2:Input: -121Output: falseExplanati...

转载 vim 键盘图

原创 vim 删除（剪切）、复制和粘贴、撤销

删除（剪切）操作效果x在一行中，删除一个光标后的字符。X在一行中，删除一个光标前的字符。操作效果dd删除（剪切）光标所在的一整行。ndd删除（剪切）光标所在行向下的n行，包括光标所在行。d1G删除（剪切）光标所在行到第一行，包括光标所在行。dG删除（剪切）光标所在行到最后一行，包括光标所在行。d$删除（剪切...

原创 vim 查找字符串

在命令模式下输入/然后输入你需要查找的字符串即可。见下图：  可以使用n继续向下查找下一个名称为job的字符串。  可以使用N向上查找名称为job的字符串。  但每次查找完成后高亮并不会消失，可以在命令行模式输入：nohlsearch 或者：noh ，也可以输入：set nohlsearch，设置不用高亮查询会让你的查询不会高亮显示，如果需要高亮显示可以输入：set hlsearch。...

原创 整数反转 LeetCode 7.Reverse Integer

Given a 32-bit signed integer, reverse digits of an integer.Example 1:Input: 123Output: 321Example 2:Input: -123Output: -321Example 3:Input: 120Output: 21Note:  Assume we are dealing wi...

原创 两数之和 LeetCode 1.Two Sum

  Given an array of integers, return indices of the two numbers such that they add up to a specific target.  You may assume that each input would have exactly one solution, and you may not use the sa...

原创 Oracle函数之LAG函数

语法使用方法  LAG是一个分析函数。它可以在不使用自连接的情况下同时访问到一个表的多行数据。给一个或多个列名和一个游标位置（位移），LAG可以访问当前行之前的行，行之间间隔的行数为位移值。  语法树中的offset（位移）参数是可选的，可以指定一个大于0的整数，如果不指定offset（位移）参数函数会默认位移为1。语法树中的default值也是可选的，这个default值是当位移值超过查...