实习学习总结1

实习第一周

一些简单的指令

Hadoop

alias hls="hadoop fs -ls"    列出指定目录的内容
alias ht="hadoop fs -text"   查看文件      hadoop fs -text /d1/core-site.xml
alias hcat="hadoop fs -text"    打开某个文件
alias hdus="hadoop fs -dus"  显示文件大小
alias hgetmerge="hadoop fs -getmerge"    
alias hcp="hadoop fs -cp"   将文件从源路径复制到目标路径，允许多个源路径，目标路径只能有一个 hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
alias hput="hadoop fs -put"    hadoop fs –put [本地目录] [hadoop目录]  本地上传hadhoop存文件
alias hget="hadoop fs -get"    hadoop fs -get [文件目录] [本地目录]    从hadhoop下载到本地文件
alias hmove="hadoop fs -move" 移动目录
alias hrm="hadoop fs -rm"
alias hkt="hadoop job -kill-task"   终止掉正在运行的hadhoop

hcat /路径/文件名 > 传到的文件夹名/自己定得文件名.gz

linux

打文件名字在目录下的可以打几个字母再tab，写的更快

ctrl+d退出     ctrl+c中止进程 

pwd 显示当前路径
ll显示当前的目录
cd ..返回到上一级的目录
mkdir -p 文件夹名   创建文件夹
touch 文件名   创建文件、
echo "huangfshan内容">> a.txt
cat 文件名查看文件内容

-n 标行号（-b不标空白行）

-E 行结尾处显示$

cmp：比较两个文件差异的地方

mv 文件名 文件名   修改文件名称

mv /usr/huangshan/*  .      把usr/huangshan目录下的所有文件移动到当前文件夹 

粘贴：shift+insert

rz从本地导入文件

sz导出文件

vim

保存退出      :wq

u撤回

s删除单个字符并进入insert，修改再插入模式下进行，这个模式下键盘右边数字没法用

SQL

select 语句用于从表中选取数据。

select 列名称 from 表名称

select * from 表名称   选择所有列

distinct 筛选不同的数值

select distinct 列名称 FROM 表名称

where 筛选条件

select * from Persons where City='Beijing'  筛选整个Persons表中city列中北京的元素 其中引号是字符的时候，数值不用''

   特殊的条件 <>不等于   between在某个范围里 like搜索模式   

and 和 or可以将条件连接起来

order排序

SELECT Company, OrderNumber FROM Orders ORDER BY Company           顺序
SELECT Company, OrderNumber FROM Orders ORDER BY Company DESC      逆序

insert into 插入元素

INSERT INTO 表名称 VALUES (值1, 值2,....) 插入整行
INSERT INTO table_name (列1, 列2,...) VALUES (值1, 值2,....)   对应列插入
update更新数据     
UPDATE Person SET FirstName = 'Fred' WHERE LastName = 'Wilson'     fred是插入的值     'Wilson'为了指定行

delete  删除

DELETE FROM table_name   清空表

DELETE FROM Person WHERE LastName = 'Wilson' 删除某一行

desc 表名 查看表结构

select top 行数 rows/* form table  选择table下的前20行

like取代的where中的=

select * from table where a like '%ad%'选择表内a列有ad出现的行    ad%  ad开头   %ad结尾

a not like '%ad%' 不包含ad词汇的

//

跑mapreduce

修改输出路径

修改map条件（筛选条件）修改参数。

python test.py -t run --run -d xxxxxx

hls查看输出文件目录找到gz文件   hcat gz  文件  > 自己对应文件夹里

sz gz文件到本地

复制x shell会话可以同时跑多个mapreduce

os 回传激活  回传注册  游戏激活 游戏支付

公司的东西就不写了，就写这些吧先，下次写模型