haijiege的专栏

转自:http://blog.sina.com.cn/s/blog_6ff05a2c01016j7n.html经常看到一些Hive优化的建议中说当小表与大表做关联时，把小表写在前面，这样可以使Hive的关联速度更快，提到的原因都是说因为小表可以先放到内存中，然后大表的每条记录再去内存中检测，最终完成关联查询。这样的原因看似合理，但是仔细推敲，又站不住脚跟。多小的表算小表？如果所谓的小表在内...

当一个大表和一个或多个小表做join时，可以使用mapjoin，性能比普通的join要快很多。mapjoin的基本原理是：在小数据量情况下，SQL会将用户指定的小表全部加载到执行join操作的程序的内存中，从而加快join的执行速度。需要注意，使用mapjoin时：left outer join的左表必须是大表；right outer join的右表必须是大表；inner join左表...

分区剪裁合理性评估：http://help.aliyun-inc.com/internaldoc/detail/35451.html?spm=a2c1f.8259796.2.351.27b096d5sumssg暴力扫描：http://gitlab.alibaba-inc.com/cdo/adrs/wikis/force_scan暴力扫描的案例 对比 分区剪裁合理性评估 有矛盾：分区裁剪合理...

语法格式：row_number() over(partition by 分组列 order by排序列 desc)row_number() over()分组排序功能：在使用 row_number() over()函数时候，over()里头的分组以及排序的执行晚于 where 、group by、order by 的执行。例一：表数据：create table TEST_R...

一．WITH AS的含义 WITH AS短语，也叫做子查询部分（subquery factoring），可以让你做很多事情，定义一个SQL片断，该SQL片断会被整个SQL语句所用到。有的时候，是为了让SQL语句的可读性更高些，也有可能是在UNION ALL的不同部分，作为提供数据的部分。 特别对于UNION ALL比较有用。因为UNION AL...

SecureCRT看不到前几分钟操作的内容，或者想把通过vi命令查看的日志输出到log文件（在懒得下载日志文件的情况下），所以接下来就这样操作：文件保存路径 C:\secureCRT\logs\session_%Y_%M_%D_%H.log最后记得勾选保存会话日志这样每次操作完，就会自动记录操作产生屏幕内容的log日志了，生成的日志见下图，以 当前日期和IP地址记录了，...

1.get请求（1）没有请求参数类型1 response = requests.get(url='')2 print(response.text)（2）有请求参数的类型（键值对形式表示参数）1 response = requests.get(url='',params={'key1':'value1','key2':'value2'})2 print(response.te...

在 hive命令行不知道当前数据库有时会带来麻烦。1、可以在hive命令行执行以下语句显示当前数据库：select current_database();2、可以设置hive属性在命令行显示当前数据库：set hive.cli.print.current.db=true;...

转载自：https://blog.csdn.net/lovezbs/article/details/46492823非正常关闭vi/vim编辑器时会生成一个.swp文件 关于swp文件 使用vi/vim，经常可以看到swp这个文件,那这个文件是怎么产生的呢，当你打开一个文件，vi就会生成这么一个.(filename)swp文件 以备不测（不测下面讨论），如果你正常退出，那么这个这个swp文...

源起今天和一新来的同事沟通，说他用python编写了一个工程，但在第一次运行后，发现工程根目录下生成了一个__pycache__文件夹，里面是和py文件同名的各种以 .cpython-35.pyc 结尾的文件，问同事都不太清楚，所以便抽空整理了一下该知识点。先解释下cpython-35，cpython代表的是c语言实现的Python解释器，-35代表的是版本为3.5版。 至于pyc，先来了解一...

执行效果：1.  count(1) and count(*)当表的数据量大些时，对表作分析之后，使用count(1)还要比使用count(*)用时多了！ 从执行计划来看，count(1)和count(*)的效果是一样的。 但是在表做过分析之后，count(1)会比count(*)的用时少些（1w以内数据量），不过差不了多少。  如果count(1)是聚索引,id,那肯定是count...

简介：　　用于加密相关的操作，代替了md5模块和sha模块，主要提供SHA1，SHA224，SHA256，SHA384，SHA512,MD5算法。在python3中已经废弃了md5和sha模块，简单说明下md5和sha的使用。　　什么是摘要算法呢？　　摘要算法又称为哈希算法，散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）用于加密相关...

mysqldump导出不包含存储过程mysqldump -u 数据库用户名 -p -n -t -d -R --triggers=false 数据库名 > 文件名 这样单独把存储过程和函数导出 然后导入之前 进mysql 设置下set global log_bin_trust_function_creators=TRUE; 否则报错 ERROR 1418 (HY...

因为linux安装软件的方式比较多，所以没有一个通用的办法能查到某些软件是否安装了。总结起来就是这样几类：1、rpm包安装的，可以用rpm -qa看到，如果要查找某软件包是否安装，用 rpm -qa | grep “软件或者包的名字”。 1 [root@hexuweb102 ~] rpm -qa | grep ruby 2、以deb包安装的，可以用d...

HDFS 文件操作命令注，其实常用命令不用网上搜，和linux下的命令很类似，触类旁通，直接在linux 上 hadoop fs 看一下就行了，不需要刻意去记我把 linux 上的 help 列举下，方便直接看吧，hdfs dfs 与 hadoop fs 效果一样常用的就是hdfs dfs -copyFromLocal /local/data /hdfs/data：将本地文件上传到...

1.ctrl+q           打开查询窗口2.ctrl+/            注释sql语句3.ctrl+shift +/  解除注释4.ctrl+r           运行查询窗口的sql语句5.ctrl+shift+r   只运行选中的sql语句6.F6               打开一个mysql命令行窗口7.ctrl+l            删除一行8.ct...

1.Windows下启动服务 mysqld --console　　 或　　net start mysql　　 关闭服务 mysqladmin -uroot shudown　　 或　　net stop mysql　　  2.Linux下启动服务 service mysql start　　　 关闭服务 service mysql stop　　 重启服务...

系统：linux CentOS7本文主要介绍在linux下安装和卸载R3.5.0的方法，并给出我再安装过程中遇到问题的解决方法安装方法：yum在线安装 和 源码编译安装一：安装第一种：yum在线安装1.安装并启动EPEL（如果已经安装，可直接执行第二步）yum install epel-release2. 安装Ryum install R3. 安装完成后，直接在...

tar -zcvf 打包后生成的文件名全路径 要打包的目录例子：把/xahot文件夹打包后生成一个/home/xahot.tar.gz的文件。tar -zcvf /home/xahot.tar.gz /xahotzip 压缩方法： 压缩当前的文件夹 zip -r ./xahot.zip ./* -r表示递归zip [参数] [打包后的文件名] [打包的目录路径]解压 u...

hive 中使用truncate命令将表截断的话，它是不会进回收站的，是没办法恢复的。这个跟oracle truncate有点类似的。       恢复在hive中通过drop table删除的数据文件就是将hdfs dfs -rm删除掉的文件进行恢复，只需要hdfs dfs -mv将文件从回收站中搬过来就行，我就先使用这个方法，但是效果不佳，执行select count(*) from ta...