xinxinyydss的博客

(6)切换到sqoop根目录下的conf目录，复制并改名配置文件:cp sqoop-env-template.sh sqoop-env.sh。(3)创建软连接:ln -s /opt/install/sqoop-1.4.6-cdh5.14.2/ /opt/install/sqoop。(2)解压安装包:tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/install/# 从mysql导入指定表中字段且带条件的数据到hdfs。# 连接数据库获取指定数据库中的所有数据表。

-不要create 'hive_hbase_emp_table','info'2.实现Hive中创建表hive_hbase_emp_table关联HBase。Region 热合并【无需停止hbase服务，在hbase中执行】3.在Hive中插入数据，通过HBase查询。--在hbase shell中执行如下语句。--hbase shell中执行如下语句。--在hive中执行以下更新查询操作。--在hive中执行以下查询操作。--在hbase中执行如下语句。--在hive中执行如下语句。

(3)创建软连接：ln -s /opt/install/hbase-1.2.0-cdh5.14.2 /opt/install/hbase。(10)从102机器上复制/etc/profile文件复制103，104机器上并生效：source /etc/profile。(2)解压：tar -zxf hbase-1.2.0-cdh5.14.2.tar.gz -C /opt/install。17、禁用表：disable 'myschool:info'，再删除表：drop 'myschool:info'

IF(isnull(mark),'缺考',IF(mark>=90,'优',IF(mark>=80,'良',IF(mark>=70,'中',IF(mark>=60,'及格','不及格')))))SELECT id,name,sex,mark,IF(mark>=60,'及格','不及格') `等级` FROM score;SELECT length('abc'),length('你我他');

- window子句分为两类：行，值范围，不支持使用的函数包括：row_number(),rank(),dense_rank(),lead(),lag()-- 分析 -> lead(),lag(),first_value(),last_value()-- 排名 -> row_number(),rank(),dense_rank()-- 聚合 -> count(),max(),min(),sum(),avg()-- 思路：分组 -> 排序 -> 计算【排名，聚合，分析】

- CTE【Common Table Expression，公共表表达式】-- 业务数据和元数据备份，表->文件【备份表】-- 排序【升序asc(默认)，降序desc】-- 业务数据备份，表->文件【备份数据】

- 插入数据【注意：所有字段顺序对应，分区字段必须放在最后】-- 准备数据student_male_female.txt。-- 准备数据student_partition2.txt。-- 检查是否已开启动态分区模式【默认为true】-- 设置分桶功能开关【默认值false】-- 准备数据bucket.txt。侧视图（数组，映射，结构）-- 静态分区之二级分区。

- 逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号）-- 下载第三方jar包专用于解析json格式数据，上传到linux中：/root/data。-- 把数据上传到 /root/data/ 加载数据。-- 上传数据到linux /root/data。-- 剪切hdfs文件到其他hdfs目录。-- 通过 hive 加载数据。) comment '学生表'-- 追加hdfs文件到表中。-- 根据以上数据建表。-- 装载csv数据。

sex_age struct<sex:string,age:int> comment '性别年龄',sex_age struct<sex:string,age:int> comment '性别年龄',sex_age struct<sex:string,age:int> comment '性别年龄',skills_score map<string,int> comment '技能评分',skills_score map<string,int> comment '技能评分',

4. 定义变量 --> beeline -ujdbc:hive2://hadoop101:10000 -nroot --hivevar key=value。2. 运行hive语句 --> beeline -ujdbc:hive2://hadoop101:10000 -nroot -e"hive语句"3. 运行hive文件 --> beeline -ujdbc:hive2://hadoop101:10000 -nroot -f"hive文件"1. 获取帮助 --> hive -H 或-help。

（07）解压到指定目录下：tar -xvf MySQL-5.5.40-1.linux2.6.x86_64.rpm-bundle.tar -C ./mysql。连接： N/A----------------------!（04）若有安装则卸载：rpm -e --nodeps mariadb-libs-5.5.35-3.el7.x86_64。（02）若有安装mysql则卸载：rpm -e mysql 或 rpm -e --nodeps mysql。

（3）建立软链接：ln -s /opt/install/zookeeper-3.4.5-cdh5.14.2 /opt/install/zookeeper。zkServer.sh start"（2）解压安装：tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/install。（2）解压：tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/install/

（9）在104上启动historyserver：mr-jobhistory-daemon.sh start historyserver，通过jps检查。在104上停止historyserver：mr-jobhistory-daemon.sh stop historyserver。停止historyserver：mr-jobhistory-daemon.sh stop historyserver。停止resourcemanager：yarn-daemon.sh stop resourcemanager。

简化并⾏计算的编程模型 构建抽象模型：Map和Reduce 开发⼈员专注于实现Mapper和Reducer函数 隐藏系统层细节 开发⼈员专注于业务逻辑实现。起源于Google 适⽤于⼤规模数据处理场景 每个节点处理存储在该节点的数据 每个job包含Map和Reduce两部分。1. MapReduce是⼀个分布式计算框架 它将⼤型数据操作作业分解为可以跨服务器集群并⾏执⾏的单 个任务。1. java类型 Hadoop Writable类型。1. MapReduce定义。3. 常⽤的数据序列化的类型。

14. 复制hadoop102上的/etc/profile⽂件到hadoop103-104上，并 在hadoop102-104上使⽂件⽣效 scp /etc/profile root@hadoop103:/etc/6. 安装包上传到hadoop102的/opt/software后解压到/opt/install tar -zxvf hadoop-2.6.0.tar.gz -C /opt/install。7. 下载⽂件 hdfs dfs -get /hdfs/shell/a.txt ./d101。

14. 运⾏ mapreduce 程序：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /user/hadoop/input/ /user/hadoop/output。16. 将测试⽂件内容下载到本地： mkdir wcoutput bin/hdfs dfs -get /user/hadoop/output/* ./wcoutput cat wcoutput/*

6. 创建软链接：切换到install⽬录cd /opt/install 然后再创建软件 链接 ln -s hadoop-2.6.0/ hadoop 7. 添加环境变量:vi /etc/profile，并在最后添加以下两⾏。1. nn NameNode 存储⽂件的元数据, 如 ⽂件名,⽂件⽬录结构,⽂ 件属性(⽣成时间 ,副本数,⽂件权限),以及每个⽂件的块列表和块 所在的DataNode等。12. 切换到/opt/install/hadoop⽬录：cd /opt/install/hadoop。

4. bg 任务号 将后台暂停的命令运⾏起来, 可以通过 jobs -l 查 看运⾏的使⽤号 使⽤bg 任务号运⾏起来。2. 案例: 判断⽤户输⼊的字符类型使⽤case,字母类型[a-z][A-Z] 数 字类型[0-9] 其他。1. nohup 命令 >⽂件 2>&1 & (注:如果不指定⽂件会默认⽣成 nohup.out)3. 修改值 数组名[下标]=新值 如: let a[2]=33 或 ((a[2]=33))1. 初始计数器 while [ 计数器判断 ] do 语句块 计数器步进 done。

6. 在脚本中使⽤特殊的变量 1. $# 表⽰传⼊脚本的参数个数 2. $0 表⽰脚本名称 3. $* 表⽰脚本的参数列表 4. $n 表⽰传⼊脚本的每个参数 ,n从1开始计数,如果参数⼤于 10个。5. 变量的作⽤域 全局变量,局部变量, 环境变量 [注:在⽂件定义的 变量使⽤source运⾏,会在当前环境⽣成变量,当前环境就可以使 ⽤这个⽂件中定义的变量了]] ... [ else 命令;5. 条件测试命令 test [true 0 | false 1] 或 [ 条件 ] 或 [[ 条件 ]]