- 博客(8)
- 收藏
- 关注
RSS订阅转载 HIVE的transform函数的使用
HIVE的transform函数的使用Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能，适合实现Hive中没有的功能又不想写UDF的情况。例如，按日期统计每天出现的uid数，通常用如下的SQL SELECT date, count(uid) FROM xxx GROUP BY date 但是，如果我想在reduce阶段对每天的uid形...
2019-04-24 14:47:10
657
原创 mac终端(terminal)里的快捷键
Command + K 清屏Command + T 新建标签Command +W 关闭当前标签页Command + S 保存终端输出Command + D 垂直分隔当前标签页Command + Shift + D 水平分隔当前标签页Command + shift + {或} 向左/向右切换标签 ...
2019-01-09 17:35:54
1160
转载 Hive中Alter Table 修改表名，列名，列注释，表注释，增加列，调整列顺序，属性名等操作
Alter Table 语句Hive修改表名，列名，列注释，表注释，增加列，调整列顺序，属性名等操作它是在Hive中用来修改的表。语法声明接受任意属性，我们希望在一个表中修改以下语法。 ALTER TABLE name RENAME TO new_name ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ......
2018-12-14 11:39:05
18277
转载 mac/linux中vim永久显示行号、开启语法高亮
步骤1： cp /usr/share/vim/vimrc ~/.vimrc 先复制一份vim配置模板到个人目录下 注：redhat 改成 cp /etc/vimrc ~/.vimrc步骤2： vi ~/.vimrc 进入insert模式，在最后加二行 syntax on set nu!保存收工。 最后附上其它选项(从网上淘来的)set ...
2018-11-16 13:52:07
638
转载 hive的常用操作
1.hive模糊搜索表 show tables like '*name*';2.查看表结构信息 desc formatted table_name; desc table_name;3.查看分区信息 show partitions table_name;4.根据分区查询数据 select table_coulm from table_name where part...
2018-10-12 11:32:57
249
转载 python 中的pandas模块对DataFrame数据进行操作
1）查看DataFrame数据及属性? 1 2 3 4 5 6 7 8 9 10 11 df_obj = DataFrame() #创建DataFrame对象 df_obj.dtypes #查看各行的数据格式 df_obj['列名'].astype(int)#转...
2018-09-14 17:01:51
2971
转载 向Hive程序传递变量的三种方法
图 1 外部向Hive程序中传递变量的方法使用Hive编写程序最常用的方法是将Hive语句写到文件中，然后使用hive -f filename.hql来批量执行查询语句。经常需要将外部参数传入到hql语句中替换其中的变量来动态执行任务，比如动态设定数据库名、表名、时间值、字段序列等变量，以达到脚本泛化执行的目的。1) 方法1：字符串、正则、模板引擎等暴力方式替换最简单也最暴力的方式...
2018-09-07 11:06:35
1424
转载 yum，apt-get,homebrew
apt-getapt-get是一条linux命令，适用于deb包管理式的操作系统，主要用于自动从互联网的软件仓库中搜索、安装、升级、卸载软件或操作系统。YumYum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理...
2018-08-07 23:37:07
910
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人