推荐系统
文章平均质量分 51
bjy_fighting
一个深爱coding与机器学习的电气男
展开
-
Hive常用的命令
显示已有数据库列表 show databases;使用数据库db use db;显示数据表列表 show tables;描述数据表结构 desc/describe tables;创建数据表 CREATE TABLE u_data ( userid INT, movieid INT, rating INT, unixtime STRING) ROW FORMAT DELIM原创 2017-07-14 08:58:11 · 402 阅读 · 0 评论 -
Shell的使用
常用命令#!/bin/bash 开始代码,表示用bash来执行我们的文件 chmod +x filename 添加可执行属性,新创建的脚本都需要添加可执行属性 varname=2 赋值(注意不要有空格)$var或${var} 使用变量printf '%s\n' "A is: $a" 打印 echo "this is a $varname"原创 2017-07-13 14:45:53 · 360 阅读 · 0 评论 -
Linux I/O重定向
0表示标准输入1表示标准输出2表示标准错误输出>默认为标准输出重定向,与 1> 相同>&>file 意思是把 标准输出 和 标准错误输出 都重定向到文件file中/dev/null 废弃掉不输出“&-“表示关闭文件标识符一些基本的命令ls /dev &>filename 将标准输出和错误输出到文件中,其中&在此是标准输出和错误输出j<>filename表示把文件打开,并指明文件标识原创 2017-07-25 11:16:59 · 279 阅读 · 0 评论 -
Hive Mapper和Reducer的设置
1、Mapper的影响因子 input_file_num:文件数量 input_file_size:文件大小 mapred.max.split.size(default 265M) mapred.min.split.size(default 1B) 切割算法(TextInputFormat切分) splitSize=max[minSize,min(maxSize,blockSize)]H转载 2017-09-07 11:58:30 · 1785 阅读 · 0 评论 -
grep、sed、awk
1、grep grep -n root /etc/passwd 将文件中含有root的行找出来,并显示行号 grep -v root /etc/passwd 将文件中没有root的行找出来,并显示行号 grep ‘energywise’ * 找出当前目录下含有energywise的文件 grep -r ‘energywise’ * 找出当前目录及其子目录下含有en原创 2017-12-01 13:24:25 · 287 阅读 · 0 评论 -
hive join时需要注意的几个细节
hive 两个表 join时key的不同会出现不同的情况:需要join的表的key唯一这是最简单的情况,以left join为例,join后的表的条数应该等于左表的数量需要join的表的key不唯一这是比较复杂的一种情况,若有以下两个表a.id121b.id1312若a与b表join的适合最终表的row n...原创 2018-10-31 17:32:04 · 442 阅读 · 0 评论