y976181862-CSDN博客

原创 linux设置免密遇到的坑爹问题

集群设置免密遇到的坑爹问题 log日志可以查看 cd /var/log/secure-------------------------------------------------------------------------------------------------------------------------------------免密登陆中cd/root 用户权限必须是...

2019-03-28 16:44:49 1633

原创 ES命令集锦（很重要）

首先开启ES集群命令：elasticsearch -d 后台启动验证：可以在网页上查看集群状态，green表示正常---------------------------------------------------------------------------------------------------------------------------------------

2017-04-14 20:14:23 928

原创 ES集群理解和安装

ElasticSearchES是高扩展，开源搜索引擎，可以在海量数据（10亿数据）查找到你所需要数据ES内部核心：lucence本质：数据管理系统Es启动，如果es集群名称一样合并成一个集群3，节点：表示ES启动时会设置这个几点的名字，表示一个es管理器4，索引(index)：一个索引就是一个数据库5，类型(type)：就是表6,文档（document）

2017-04-14 19:34:01 1198

原创 Storm的启动命令

开启zookeeper集群后台启动stormnohup storm nimbus &启动ui：nohup storm ui &启动supervisor： nohup storm supervisor &浏览器输入：http:hadoop01:8080 查看网页启动ZOOPKEEPERzkServer.sh start启动NIMBUSstorm n

2017-04-08 10:59:27 1571

原创 Storm的安装配置

安装Stormwww.apache.org版本：0.9.5前提启动：zookeeper集群上传解压重命名然后发送storm到其他的电脑

2017-04-08 10:23:22 226

原创 Storm流式计算原理

Storm流式计算：storm是个实时的分布式计算系统，可以接收无限的数据流核心概念：Topology：Storm集群中运行的程序。相当于hadoop中的jobNimbus:负责分配任务Spout：中文表示水龙头，接收外界传来的数据，相当于flume中的source，调用nextTuple函数，发射供Bolt消费Bolt:接收Spout传来的数据，传递给

2017-04-08 10:20:46 1771

原创 HbaseShell命令

Hbase Shell命令：创建一个表，Create +’表名’ ，+’列族名1’,’列族名2’查看所有的表：list添加数据：添加student表，主键为Test，列族为basic，添加列族name为xiaominng的数据：put 'student','Test','basic:name','xiaoming'获得表数据：get 'student','Test

2017-03-31 19:06:42 502

原创 Hbase的安装步骤

安装Hbase步骤：下载http://hbase.appache.orgarchive.appache.org版本：0.99.2打开集群：面试：hadoop用2.2.0 14年稳定Hbase也是把数据存到HDFS中cd apps,上传，解压缩，重命名hbasecd hbase 进入，cd confvi hbase-env.sh配置:echo $JAVA

2017-03-31 16:29:04 412

原创 Hbase集群理解

Nosql：表示非关系型数据库特点:具有查询低延迟，列式存储，出现原因：因为大量数数据，当今查询比较慢常见的nosql数据库类型和代表有：列存储（Hbase）文档型存储（MongoDb）内存式存储（redis）Hbase与hive的区别（重点）：hive的定位是数据仓库，虽然也有增删但是增删改查是整张表而不是单行数据，查询延迟较高，本质：使用mr来进行离线分析数据的一个工具Hbas

2017-03-27 20:46:57 328

原创 kafka常用命令

Kafka常用操作命令l 查看当前服务器中的所有topicbin/kafka-topics.sh --list --zookeeper hadoop02:2181l 创建topic./kafka-topics.sh --create --zookeeper hadoop02:2181 --replication-factor 1 --partitions 3 --topic fi

2017-03-27 09:52:33 308

原创 Azkaban启动命令实例

进入到azkaban的server根目中去启动到后台nohup bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out&cd ../excuter/执行命令：bin/azkaban-web-start.sh启动完成输入：https:hadoop01:8443回车，点击继续使用输入

2017-03-25 18:29:54 6750

原创 Azkaban任务调度理解和安装

Azkaban任务调度表示定时定期执行某个任务执行任务调度的系统有，ooize，azkaban安装：azkaban-executor-server-2.5.0.tar.gz打开虚拟机hadoop01这里我们上传到apps文件夹里，解压缩，重命名为azkaban进入conf文件夹配置 vi azkaban.properties我们需要更改的是：名字，时区（注意大小写）

2017-03-25 17:23:29 642

原创 Flume理论理解和命令（面试必问）

hadoop，Flume安装

2017-03-25 15:45:46 7679

原创 sqoop工具操作

拷贝mysql-connector-java-5.1.28.jar到sqoop文件夹下的lib里启动HDFS集群，zookeeper集群，yarn运算打开操作的数据库sqlyog，连接到hadoop机器1新创建个test数据库在test库中创建个student，添加属性 sid，sname，gender，age开启hiveHive数据也存在于HDFS集群中

2017-03-25 14:59:35 297

原创 Sqoop 的安装

前提准备：hadoop集群，sqoop安装包一，安装sqoop：下载安装包：http://sqoop.apache.org版本：Sqoop 1.4.6 打开hadoop集群，在hadoop01，中上传安装包到apps解压缩并重名为 sqoop开启集群上传文件，到apps文件夹，重命名cd conf，mv重命名sqoop-env-template.sh为sqoop-e

2017-03-25 14:37:20 245

y976181862的博客