把握青春1234-CSDN博客

原创 hive动态分区表的使用

========================================================create table dpartition(id int,name string) partitioned by(dt string); --创建分区表set hive.exec.dynamic.partition=true; --开启动态分区，默认是falses...

2019-02-27 13:32:35 2151

原创通过hive sql实现报表中的MTD,YTM,YTD

MTD：例：20160918求20160901-20160918的amount的sum(累加)YTD: 例：20160918求20160101-20160918的amount的sum(累加)YTM: 例：20160918求2016年1-9月的amount的sum(累加)解决方法：使用hive的开窗函数#原始表(100条数据)+------------------+------------...

2019-02-27 10:45:22 5670

原创 linux中删除Mysql

1.停掉服务 service mysqld stop2.确保所有msyql的服务进程杀死ps -ef | grep -i mysql 查出mysql的相关进程然后一个一个地 kill -9 进程号3.删除mysql的rpm包rpm -qa | grep -i mysql | xargs rpm -e --nodeps4.删除mysql遗留的文件find / -name mysq...

2018-12-09 11:37:28 1650

转载 Windows10系统下，彻底删除卸载MySQL

本文介绍，在Windows10系统下，如何彻底删除卸载MySQL。。。1》停止MySQL服务开始-》所有应用-》Windows管理工具-》服务，将MySQL服务停止。2》卸载mysql server控制面板\所有控制面板项\程序和功能，将mysql server卸载掉。3》将MySQL安装目录下的MySQL文件夹删除（我的安装目录是C:\Program Files (x86)\MySQ...

2018-12-09 11:11:53 179

转载 hive批量执行sql命令及使用小技巧

root@hadoop-senior hive-0.13.1]$ bin/hive -helpusage: hive-d,　--define <key=value> 　　　　　　 Variable subsitution to apply to hive　　　　　　　　　　　　　　　　　　 commands. e.g. -d A=B or --define A=B　　--d...

2018-12-08 11:25:18 3487

转载 yum安装出现No package vim available解决办法

yum (Yellowdog Updater Modified)是一个集与查找，安装，更新和删除程序的Linux软件。它运行在RPM包兼容的Linux发行版本上，如：RedHat, Fedora, SUSE, CentOS, Mandriva。今天我在用CentOS 5.5的yum命令安装的时候出现如下错误： [root@malu2 ~]# yum install vimLoade...

2018-12-06 15:27:28 1234

转载 zookeeper集群启动报错：Cannot open channel to * at election address /ip:3888

zookeeper集群启动报错：Cannot open channel to * at election address /ip:38882018年04月06日 20:52:55 中单大魔王阅读数：729 标签： zookeeper 下面几点需要注意的：1、确认在每个$zookeeper_home/data/myid中有对应数字2、是否关闭防火墙：systemctl stop f...

2018-09-15 21:02:33 2647

转载启动Hadoop时，DataNode启动后一会儿自动消失的解决方法

启动Hadoop时，DataNode启动后一会儿自动消失的解决方法查看slaver1/2的logs，发现FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Datanode Uuid unassi...

2018-09-10 17:10:10 1543

原创 storm集群的容错机制

正常运行的Storm集群，如果nimbus、supervisor、worker出现挂机，会怎么样？1、worker进程死亡如果所运行的任务的worker进程死亡，supervisor会尝试重启worker进程，如果尝试多次后依然无法启动，那么nimbus会重新分配一个supervisor来执行该任务。2、supervisor所在的机器宕机如果supervisor所在的机器宕机...

2018-08-20 11:46:36 290

原创 redis集群的扩展

一，redis集群创建命令：./redis-trib.rb create --replicas 1 192.168.66.81:7001 192.168.66.81:7002 192.168.66.81:7003 192.168.66.81:7004 192.168.66.81:7005 192.168.66.81:7006命令解析：1，create ： redis-trib.rb插件中命...

2018-08-19 22:01:32 456

原创 mybatis-config.xml模版

<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd"><configuration&gt

2018-08-19 21:59:13 22979 3

原创 kafka生产者与消费者相关命令行

1，开启zookeeper集群 startzk.sh2，开启kafka集群 start-kafka.sh2，开启kafka可视化界面 kafka-manager ： start-kafka-manager.sh3,生产者操作：kafka-console-producer.sh --broker-list node1:9092 --topic my-kafka-topic //m...

2018-08-19 21:55:41 45269

原创 kafka集群开启及关闭脚本参考

1，开启kafka集群脚本：cat /export/server/onekey/kafka/slave | while read linedo{ echo "开始启动 --> "$line ssh $line "source /etc/profile;nohup sh ${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_...

2018-08-19 21:53:31 1872

原创 hadoop高可用集群搭建参考

------------------ 集群部署节点角色的规划（3节点） ------------------ node1 namenode datanode resourcemanager nodemanager zookeeper journalnode zkfc node2 namenode datanode resourcemanager ...

2018-08-19 21:50:34 206

原创 applicationContext.xml模版

<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springfram

2018-08-19 21:46:47 373

转载启动Hbase后Hmaster节点挂掉的几个原因

启动Hbase后Hmaster节点挂掉的几个原因2017年10月18日 19:57:44阅读数：963学习HBase过程中，在安装Hbase后，会出现Hmaster节点在几秒种后会突然挂掉，有可能是以下原因: 1.时钟不同步 2.zookeeper出问题了 3.hdfs和hbase配置的端口不匹配 hdfs core-site.xml hdfs://...

2018-08-19 21:09:09 4275 1