2018年07月_aryoyo

原创 Kubernetes安装学习

环境：Centos 7.5 Docker 1.13.1 Kubernetes 1.5.2官网：https://kubernetes.io/Kubernetes架构与组件：Master包含：Etcd：集群中的主数据，存储所有资源对象及其状态，etcd的数据变更都需通过apiserver进行 Apiserver：集群控制的唯一入口，...

2018-07-25 22:22:51 585

原创 Hbase基本shell操作

环境：Habse version 1.2.6.1 on redhat6.4 64bit1.进入hbase命令行： ./hbase shell[root@rhel64-64bit bin]# ./hbase shellHBase Shell; enter 'help<RETURN>' for list of supported commands.Type "exit<...

2018-07-20 17:53:50 573

原创 Hbase启动失败

环境：hadoop 2.6.5 habse 1.2.6.1 ----测试为单机伪分布式部署 redhat 6.4 64bit1.配置文件<HBASE_HOME>/conf/hbase-env.sh export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64 ----...

2018-07-16 21:58:08 9929

原创 Hive基本shell操作

用户手册：https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentation1>java客户端操作hive需要启动hive远程服务：hiveserver2https://cwiki.apache.org/confluence/display/Hive/Setting+Up+HiveServer2$...

2018-07-08 15:51:53 2308

原创 Hive远程模式安装报错

先安装hadoop(单机伪分布式模式)：http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html1.下载并解压：wget mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz2....

2018-07-06 17:31:38 599

参考官网：http://kafka.apache.org/0102/documentation.html#quickstart1.下载解压tar -zxvf kafka_2.12-0.10.2.1cd kafka_2.12-0.10.2.12.启动zookeeper：配置文件： [root@rhel64-64bit config]# grep -iv -e '^#' -e '^$' zooke...

2018-07-04 20:42:51 2195

原创 Kafka报错

环境：redhat 6.4 64bit / Kafka version:0.10.2.1producer 报错：bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test2[2018-07-03 21:50:41,571] ERROR Error when sending message to topic t...

2018-07-04 20:23:18 1065

原创 MongoDB5：分片sharding

参考官网：https://docs.mongodb.com/manual/core/sharded-cluster-components/分片集群环境包括下面几个components：Shard Server：存储实际数据的分片，每个Shard可以为一个mongod实例，也可以为一组mongod实例构成的Replica Set，3.6版本以上默认需要每个shard都是Replica Set，否则配...

2018-07-02 14:39:54 663

原创 mysql创建存储过程/触发器测试

1.创建数据库test3：create databse test3；2.创建表t2：use test3;create table t2 (id int,name char(50),dtime timestamp);mysql> select * from t2;Empty set (0.00 sec)3.创建procedure来循环插入数据到新建的t2表中，创建trigger禁止插入数据如...

2018-07-01 19:53:53 1135

原创 MongoDB4：聚合函数group和mapReduce

我们可以使用group或mapReduce来实现分组和统计的功能，参考：https://docs.mongodb.com/manual/reference/method/db.collection.group/1.group测试：db.order.insert({id:123,mount:500})yooo:PRIMARY> db.order.find(){ "_id" : Object...

2018-07-01 18:57:34 1445

aryoyo的博客