qiulinsama的博客

Spark SQL JDBC我们可以使用一个 JDBC 的链接来定义一个 Spark SQL 的表或者视图，这里用表来做示例：我们先在 mysql 中建立一个需要同步的表 test：CREATE TABLE my.test ( id BIGINT ( 20 ) PRIMARY KEY NOT NULL auto_increment, create_time TIMESTAMP NOT NULL COMMENT '创建时间', name VARCHAR ( 127 ) COMMENT '用户姓名'

在项目中有时代码开发分为开发环境和生产环境，kylin虽然支持多个project，但是每个project中的model不能同名，就造成了需要多个kylin集群来适配不同的代码环境。又因为kylin依赖hbase，hive，hdfs，zookeeper，spark这些组件，再完整弄一套集群过于麻烦。故此文给出一种解决方案。所使用的kylin版本为2.6.4首先kylin的主要配置文件为$KYLIN_HOME/kylin.properties,本文并不会详解其中的所有配置，只会拿出我们需要的配置进行操作.

生产中Hive的元数据存储在MySQL中，构建数据字典我们可以通过查询元数据表，导出查询结果后生成自己想要的文档。下面我会一步一步介绍如何生成markdown格式的数据字典文档。定义SQL首先废话不多说，贴出我们需要的在MySQL中使用的SQL。SELECT a. NAME as SCHEMA_NAME,-- 数据库名称 t.TBL_NAME as TABLE_NAME,-- 表名 ...

Given an array nums and a value val, remove all instances of that value in-place and return the new length.Do not allocate extra space for another array, you must do this by modifying the input array...

1.删除目录格式化NameNode时，会产生新的clusterID,导致NameNode和DataNode的clusterID不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。data数据目录在hdfs-site.xml中的dfs.datanode.data.dir。 <property>...

有时候在使用用户登陆Linux系统时会发现，命令行提示符成了：-bash-4.1$，不显示用户名，路径信息。原因：用户家目录里面与环境变量有关的文件被删除所导致的也就是这俩文件：.bash_profile.bashrc这两个文件被删除了，导致了这个错误解决方法：从/etc/skel把丢失的文件 复制回来就可以了那么这个 /etc/skel 目录是干啥的呢？skel 是 skel...

whowho - 是显示目前登录系统的用户信息。执行who命令可得知目前有那些用户登入系统，单独执行who命令会列出登入帐号，使用的终端机，登入时间以及从何处登入。-b, --boot 最近一次系统启动的时间-m：打印当前连接客户端使用的用户以及连接的客户端的IP，此参数的效果和指定"am i"字符串相同；ww - 用于显示已经登陆系统的用户列表，并显示用户正在执行的指令。执行这个...

Given a sorted array nums, remove the duplicates in-place such that each element appear only once and return the new length.Do not allocate extra space for another array, you must do this by modifyin...

冒泡排序无疑是最为出名的排序算法之一，从序列的一端开始往另一端冒泡（你可以从左往右冒泡，也可以从右往左冒泡，看心情），依次比较相邻的两个数的大小（到底是比大还是比小也看你心情）。以下代码实现从小到大输出。Pythondef bubble_sort(origin_items, comp=lambda x, y: x > y): """冒泡排序""" items = origin_it...

选择排序的思路是这样的：首先，找到数组中最小的元素，拎出来，将它和数组的第一个元素交换位置，第二步，在剩下的元素中继续寻找最小的元素，拎出来，和数组的第二个元素交换位置，如此循环，直到整个数组排序完成。至于选大还是选小，这个都无所谓，你也可以每次选择最大的拎出来排，也可以每次选择最小的拎出来的排，只要你的排序的手段是这种方式，都叫选择排序。def select_sort(origin_item...

学习git分支 https://learngitbranching.js.org/演示git命令效果 http://git-school.github.io/visualizing-git/网页版redis https://try.redis.io/

预备创建dmp文件存放文件夹，不创建后面会发生错误。mkdir -p /opt/oracle/dmp1、创建directory数据库对象并授权sqlplus / as sysdbaSQL> create or replace directory dmp as '/opt/oracle/dmp'; //创建逻辑目录，dmp文件存放地址，oracle不会帮你创建/opt/o...

Apache Hadoop YARNYARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。 我们的想法是拥有一个全局ResourceManager（RM）和每个应用程序ApplicationMaster（AM）。 应用程序可以是单个作业，也可以是作业的DAG（有向无环图）。ResourceManager和NodeManager构成了数据计算框架。 ResourceManag...

数据源如图：Single-Row Functions 单行函数单行函数会给查询到的结果集的每行返回一个值。例如 nvl()：select a.*,nvl(comm,0) newcomm from EMP a结果如下：可见上图，单行函数针对结果集的每一行都执行了一次并返回了一个值。Aggregate Functions 聚合函数聚合函数根据每个group返回一个值。例如SUM...

commit未push到origin(远端)现在最新的commit如图所示，添加了一行输出代码，只提交到了本地仓库，没有push到远端。现在我觉得这个commit不好，我想修改一下，但是又不想再弄一个commit，例如加一行代码注释，或者修改一下commit的描述。例如，我现在加了一行代码注释：的确，我直接提交这次修改的代码不会有任何问题，但是我就是有强迫症，耶稣也拦不住我，我不想再提交...

  左半开连接（LEFT SEMI JOIN）会返回左边表的记录，前提是其记录对于右边表满足 ON 语句中的判定条件。对于常见的内连接（INNER JOIN）来说，这是一个特殊的，优化了的情况。大多数的SQL方言会通过 IN … EXISTS 结构来处理这种情况。例如下面所示的查询，其将试图返回限定的股息支付日内的股票交易记录，不过这个查询 Hive 是不支持的。-- HIVE中不支持的查询S...

Mybatis 中$和#千万不要乱用！开头这是一次代码优化过程中发现的问题，在功能优化后发现部分数据查不到出来了，问题就在于一条sql上的#和$。下图为两条sql：从图上可以看出 wwlr.LabelId in(${showLabels}) 和 wwlr.LabelId in(#{showLabels})，其中showLabels是传进来一个字符串类型的参数，参数的样子是这样的“4,44...

步骤一：检测网卡是否已经启动1.使用root身份登录2.# vi /etc/sysconfig/network-scripts/ifcfg-ens333.ONBOOT=yes4.:wq保存5.重启网络服务 service network restart步骤二：配置DNS服务器1. vi /etc/resolv.conf2.添加字段： nameserver 114.114.11...

Hive如何实现join操作这两张表都有一个相同的字段userid，根据这个字段可以将两张表连接起来，pv_users表，SQL命令是SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid);同样，这个SQL命令也可以转化为MapReduce计算，连接的过程如下图所示。从图上看，...

MapReduce实现SQL的原理对于常见的一条SQL分析语句，MapReduce如何编程实现？SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age;这是一条非常常见的SQL统计分析语句，统计不同年龄的用户访问不同网页的兴趣偏好，对于产品运营和设计很有价值。具体数据输入和执行结果请看下面的图示。左边是要分析的数据...