hadoop学习
文章平均质量分 62
y976181862
!!!!!!!!!
展开
-
Azkaban任务调度 理解和安装
Azkaban任务调度 表示定时定期执行某个任务 执行任务调度的系统有,ooize,azkaban 安装:azkaban-executor-server-2.5.0.tar.gz 打开虚拟机hadoop01这里我们上传到apps文件夹里,解压缩,重命名为azkaban 进入conf文件夹 配置 vi azkaban.properties 我们需要更改的是: 名字,时区(注意大小写)原创 2017-03-25 17:23:29 · 607 阅读 · 0 评论 -
ES命令集锦(很重要)
首先开启ES集群 命令:elasticsearch -d 后台启动 验证:可以在网页上查看集群状态,green表示正常 ---------------------------------------------------------------------------------------------------------------------------------------原创 2017-04-14 20:14:23 · 900 阅读 · 0 评论 -
ES集群理解和安装
ElasticSearch ES是高扩展,开源搜索引擎,可以在海量数据(10亿数据)查找到你所需要数据 ES内部核心:lucence 本质:数据管理系统 Es启动,如果es集群名称一样合并成一个集群 3,节点:表示ES启动时会设置这个几 点的名字,表示一个es管理器 4,索引(index):一个索引就是一个数据库 5,类型(type):就是表 6,文档(document)原创 2017-04-14 19:34:01 · 1180 阅读 · 0 评论 -
Flume理论理解和命令(面试必问)
hadoop,Flume安装原创 2017-03-25 15:45:46 · 7635 阅读 · 0 评论 -
kafka常用命令
Kafka常用操作命令 l 查看当前服务器中的所有topic bin/kafka-topics.sh --list --zookeeper hadoop02:2181 l 创建topic ./kafka-topics.sh --create --zookeeper hadoop02:2181 --replication-factor 1 --partitions 3 --topic fi原创 2017-03-27 09:52:33 · 289 阅读 · 0 评论 -
Sqoop 的安装
前提准备:hadoop集群,sqoop安装包 一,安装sqoop: 下载安装包: http://sqoop.apache.org版本:Sqoop 1.4.6 打开hadoop集群,在hadoop01,中上传安装包到apps解压缩 并重名为 sqoop 开启集群 上传文件,到apps文件夹,重命名cd conf,mv重命名sqoop-env-template.sh为sqoop-e原创 2017-03-25 14:37:20 · 222 阅读 · 0 评论 -
sqoop工具操作
拷贝mysql-connector-java-5.1.28.jar到sqoop文件夹下的lib里 启动HDFS集群,zookeeper集群,yarn运算 打开操作的数据库sqlyog,连接到hadoop机器1 新创建个test数据库 在test库中创建个student,添加属性 sid,sname,gender,age 开启hive Hive数据也存在于HDFS集群中原创 2017-03-25 14:59:35 · 281 阅读 · 0 评论 -
HbaseShell命令
Hbase Shell命令: 创建一个表, Create +’表名’ ,+’列族名1’,’列族名2’ 查看所有的表:list 添加数据: 添加student表,主键为Test,列族为basic,添加列族name为xiaominng的数据: put 'student','Test','basic:name','xiaoming' 获得 表数据: get 'student','Test原创 2017-03-31 19:06:42 · 473 阅读 · 0 评论 -
Storm的启动命令
开启zookeeper集群 后台启动storm nohup storm nimbus & 启动ui:nohup storm ui & 启动supervisor: nohup storm supervisor & 浏览器输入:http:hadoop01:8080 查看网页 启动ZOOPKEEPER zkServer.sh start 启动NIMBUS storm n原创 2017-04-08 10:59:27 · 1538 阅读 · 0 评论 -
linux设置免密遇到的坑爹问题
集群设置免密遇到的坑爹问题 log日志可以查看 cd /var/log/secure ------------------------------------------------------------------------------------------------------------------------------------- 免密登陆中cd/root 用户权限必须是...原创 2019-03-28 16:44:49 · 1606 阅读 · 0 评论