hadoop学习
文章平均质量分 62
y976181862
!!!!!!!!!
展开
-
Azkaban任务调度 理解和安装
Azkaban任务调度表示定时定期执行某个任务执行任务调度的系统有,ooize,azkaban安装:azkaban-executor-server-2.5.0.tar.gz打开虚拟机hadoop01这里我们上传到apps文件夹里,解压缩,重命名为azkaban进入conf文件夹配置 vi azkaban.properties我们需要更改的是:名字,时区(注意大小写)原创 2017-03-25 17:23:29 · 628 阅读 · 0 评论 -
ES命令集锦(很重要)
首先开启ES集群命令:elasticsearch -d 后台启动验证:可以在网页上查看集群状态,green表示正常---------------------------------------------------------------------------------------------------------------------------------------原创 2017-04-14 20:14:23 · 923 阅读 · 0 评论 -
ES集群理解和安装
ElasticSearchES是高扩展,开源搜索引擎,可以在海量数据(10亿数据)查找到你所需要数据ES内部核心:lucence本质:数据管理系统Es启动,如果es集群名称一样合并成一个集群3,节点:表示ES启动时会设置这个几点的名字,表示一个es管理器4,索引(index):一个索引就是一个数据库5,类型(type):就是表6,文档(document)原创 2017-04-14 19:34:01 · 1190 阅读 · 0 评论 -
Flume理论理解和命令(面试必问)
hadoop,Flume安装原创 2017-03-25 15:45:46 · 7662 阅读 · 0 评论 -
kafka常用命令
Kafka常用操作命令l 查看当前服务器中的所有topicbin/kafka-topics.sh --list --zookeeper hadoop02:2181l 创建topic./kafka-topics.sh --create --zookeeper hadoop02:2181 --replication-factor 1 --partitions 3 --topic fi原创 2017-03-27 09:52:33 · 298 阅读 · 0 评论 -
Sqoop 的安装
前提准备:hadoop集群,sqoop安装包一,安装sqoop:下载安装包:http://sqoop.apache.org版本:Sqoop 1.4.6 打开hadoop集群,在hadoop01,中上传安装包到apps解压缩 并重名为 sqoop开启集群 上传文件,到apps文件夹,重命名cd conf,mv重命名sqoop-env-template.sh为sqoop-e原创 2017-03-25 14:37:20 · 232 阅读 · 0 评论 -
sqoop工具操作
拷贝mysql-connector-java-5.1.28.jar到sqoop文件夹下的lib里启动HDFS集群,zookeeper集群,yarn运算打开操作的数据库sqlyog,连接到hadoop机器1新创建个test数据库在test库中创建个student,添加属性 sid,sname,gender,age开启hiveHive数据也存在于HDFS集群中原创 2017-03-25 14:59:35 · 289 阅读 · 0 评论 -
HbaseShell命令
Hbase Shell命令:创建一个表,Create +’表名’ ,+’列族名1’,’列族名2’查看所有的表:list添加数据:添加student表,主键为Test,列族为basic,添加列族name为xiaominng的数据:put 'student','Test','basic:name','xiaoming'获得 表数据:get 'student','Test原创 2017-03-31 19:06:42 · 491 阅读 · 0 评论 -
Storm的启动命令
开启zookeeper集群后台启动stormnohup storm nimbus &启动ui:nohup storm ui &启动supervisor: nohup storm supervisor &浏览器输入:http:hadoop01:8080 查看网页启动ZOOPKEEPERzkServer.sh start启动NIMBUSstorm n原创 2017-04-08 10:59:27 · 1560 阅读 · 0 评论 -
linux设置免密遇到的坑爹问题
集群设置免密遇到的坑爹问题 log日志可以查看 cd /var/log/secure-------------------------------------------------------------------------------------------------------------------------------------免密登陆中cd/root 用户权限必须是...原创 2019-03-28 16:44:49 · 1620 阅读 · 0 评论