![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 91
你贱我笑了
这个作者很懒,什么都没留下…
展开
-
Azkaban
第1章 Azkaban概论1.1 为什么需要工作流调度系统1)一个完整的数据分析系统通常都是由大量任务单元组成:Shell脚本程序,Java程序,MapReduce程序、Hive脚本等2)各任务单元之间存在时间先后及前后依赖关系3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;1.2 常见工作流调度系统1)简单的任务调度:直接使用Linux的Crontab来定义;2)复杂的任务调度:开发调度平台或使用现成的开源调度系统,比如Ooize、Azkaban、 Airfl原创 2021-08-31 17:21:55 · 1114 阅读 · 0 评论 -
Hadoop安装和配置
1.机器准备1.1 安装虚拟机:安装centos7,新建用户hadoop1.2 网卡配置编辑ifcfg-eno16777736文件,将ONBOOT参数设置为yesservice network restart #重启网卡2.配置免密登录ssh-keygen -t rsa # 会有提示,都按回车就可以cat ~/.ssh/id_rsa.pub >>...原创 2019-04-30 11:38:31 · 98 阅读 · 0 评论 -
MapReduce常用命令
常用命令hdfs dfs -mkdir dir #新建文件夹hdfs dfs -rmr dir #删除文件夹hdfs dfs -ls #查看目录文件信息hdfs dfs -lsr #递归查看文件目录信息hadoop fs -ls output #查看output目录内容hadoop jar hadoop-mapreduce-examples-2...原创 2019-04-30 11:47:17 · 865 阅读 · 0 评论 -
hive安装和配置
1. mysql安装安装mysql,新建用户,新建hive数据库grant all on *.* to hive@'%' identified by 'hive' with grant option; #新建用户grant all privileges on *.* to 'root'@'%' identified by 'root'; # 设置远程连接权限flush privileges...原创 2019-04-30 11:51:15 · 123 阅读 · 0 评论 -
hbase安装和配置
1.安装hbase加压安装包到安装的目录,配置环境变量2.hbase配置hbase-env.sh 配置export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoopexport HBASE_MANAGES_ZK=true #启用hbase自带的zk管理集群hbase-site.xml配置<configuration>&...原创 2019-04-30 14:16:47 · 334 阅读 · 0 评论 -
sqoop安装和配置
1.安装sqoop下载sqoop到虚拟机,解压到安装目录,配置环境变量2.sqoop配置sqoop-env.sh配置export HADOOP_COMMON_HOME=/usr/local/hadoop export HADOOP_MAPRED_HOME=/usr/local/hadoop3.拷贝mysql连接驱动到sqoop的lib目录cp mysql-connector-j...原创 2019-04-30 14:27:44 · 184 阅读 · 0 评论