- 博客(16)
- 收藏
- 关注
原创 hive动态分区表的使用
========================================================create table dpartition(id int,name string) partitioned by(dt string); --创建分区表set hive.exec.dynamic.partition=true; --开启动态分区,默认是falses...
2019-02-27 13:32:35
2076
原创 通过hive sql实现报表中的MTD,YTM,YTD
MTD:例:20160918求20160901-20160918的amount的sum(累加)YTD: 例:20160918求20160101-20160918的amount的sum(累加)YTM: 例:20160918求2016年1-9月的amount的sum(累加)解决方法:使用hive的开窗函数#原始表(100条数据)+------------------+------------...
2019-02-27 10:45:22
5302
原创 linux中删除Mysql
1.停掉服务 service mysqld stop2.确保所有msyql的服务进程杀死ps -ef | grep -i mysql 查出mysql的相关进程然后一个一个地 kill -9 进程号3.删除mysql的rpm包rpm -qa | grep -i mysql | xargs rpm -e --nodeps4.删除mysql遗留的文件find / -name mysq...
2018-12-09 11:37:28
1600
转载 Windows10系统下,彻底删除卸载MySQL
本文介绍,在Windows10系统下,如何彻底删除卸载MySQL。。。1》停止MySQL服务开始-》所有应用-》Windows管理工具-》服务,将MySQL服务停止。2》卸载mysql server控制面板\所有控制面板项\程序和功能,将mysql server卸载掉。3》将MySQL安装目录下的MySQL文件夹删除(我的安装目录是C:\Program Files (x86)\MySQ...
2018-12-09 11:11:53
145
转载 hive批量执行sql命令及使用小技巧
root@hadoop-senior hive-0.13.1]$ bin/hive -helpusage: hive-d, --define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --d...
2018-12-08 11:25:18
3418
转载 yum安装出现No package vim available解决办法
yum (Yellowdog Updater Modified)是一个集与查找,安装,更新和删除程序的Linux软件。它运行在RPM包兼容的Linux发行版本上,如:RedHat, Fedora, SUSE, CentOS, Mandriva。今天我在用CentOS 5.5的yum命令安装的时候出现如下错误: [root@malu2 ~]# yum install vimLoade...
2018-12-06 15:27:28
1206
转载 zookeeper集群启动报错:Cannot open channel to * at election address /ip:3888
zookeeper集群启动报错:Cannot open channel to * at election address /ip:38882018年04月06日 20:52:55 中单大魔王 阅读数:729 标签: zookeeper 下面几点需要注意的:1、确认在每个$zookeeper_home/data/myid中有对应数字2、是否关闭防火墙:systemctl stop f...
2018-09-15 21:02:33
2601
转载 启动Hadoop时,DataNode启动后一会儿自动消失的解决方法
启动Hadoop时,DataNode启动后一会儿自动消失的解决方法查看slaver1/2的logs,发现FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Datanode Uuid unassi...
2018-09-10 17:10:10
1456
原创 storm集群的容错机制
正常运行的Storm集群,如果nimbus、supervisor、worker出现挂机,会怎么样?1、worker进程死亡如果所运行的任务的worker进程死亡,supervisor会尝试重启worker进程,如果尝试多次后依然无法启动,那么nimbus会重新分配一个supervisor来执行该任务。2、supervisor所在的机器宕机如果supervisor所在的机器宕机...
2018-08-20 11:46:36
248
原创 redis集群的扩展
一,redis集群创建命令:./redis-trib.rb create --replicas 1 192.168.66.81:7001 192.168.66.81:7002 192.168.66.81:7003 192.168.66.81:7004 192.168.66.81:7005 192.168.66.81:7006命令解析:1,create : redis-trib.rb插件中命...
2018-08-19 22:01:32
391
原创 mybatis-config.xml模版
<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd"><configuration>
2018-08-19 21:59:13
22882
3
原创 kafka生产者与消费者相关命令行
1,开启zookeeper集群 startzk.sh2,开启kafka集群 start-kafka.sh2,开启kafka可视化界面 kafka-manager : start-kafka-manager.sh3,生产者操作:kafka-console-producer.sh --broker-list node1:9092 --topic my-kafka-topic //m...
2018-08-19 21:55:41
44587
原创 kafka集群开启及关闭脚本参考
1,开启kafka集群脚本:cat /export/server/onekey/kafka/slave | while read linedo{ echo "开始启动 --> "$line ssh $line "source /etc/profile;nohup sh ${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_...
2018-08-19 21:53:31
1836
原创 hadoop高可用集群搭建参考
------------------ 集群部署节点角色的规划(3节点) ------------------ node1 namenode datanode resourcemanager nodemanager zookeeper journalnode zkfc node2 namenode datanode resourcemanager ...
2018-08-19 21:50:34
174
原创 applicationContext.xml模版
<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springfram
2018-08-19 21:46:47
330
转载 启动Hbase后Hmaster节点挂掉的几个原因
启动Hbase后Hmaster节点挂掉的几个原因2017年10月18日 19:57:44阅读数:963学习HBase过程中,在安装Hbase后,会出现Hmaster节点在几秒种后会突然挂掉,有可能是以下原因: 1.时钟不同步 2.zookeeper出问题了 3.hdfs和hbase配置的端口不匹配 hdfs core-site.xml hdfs://...
2018-08-19 21:09:09
4071
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人