- 博客(7)
- 资源 (1)
- 收藏
- 关注
原创 Name Error: The domain name does not exist
1,报错现象:搭建的测试HDP集群的hdfs,hive,hbase等组件无法启动,报下面错误。一直以为是公司内部DNS有问题,Name Error: The domain name does not exist2,后来自己用Python起个SimpleHTTPServer,别的机器可以用,这台机器不能用。后来经过同事咨询发现,集群使用了squid代理服务器,代理服务器上squid服务...
2019-02-26 15:40:46 2393
原创 hive3.0新特性
1,Hive 3.0新特性一:不再支持Mr,取而用Tez 查询引擎,且支持两种查询模式:Container 和 LLAP2,Hive 3.0新特性二:Hive CLI不再支持(被beeline取代)3,Hive 3.0新特性三:SQL Standard Authorization 不再支持,且默认建的表就已经是ACID表。4,Hive 3.0新特性四:支持 “批查询” ...
2018-12-07 15:11:47 7569
原创 kafka消息堆积的研究
1,查看某个broker所拥有的consumer groupbin/kafka-consumer-groups.sh --list --bootstrap-server 10.80.62.159:90922,查看local-task messages堆积情况:bin/kafka-consumer-groups.sh --describe --bootstrap-server 10....
2018-12-07 11:24:33 4719
原创 hive表之索引
1,查看表employees索引信息:show formatted index on employees2,说明:原表是user创建索引后的表是user_index_table索引是user_index 先创建原表create table user(id int, name string) ROW FORMAT DELIMITED FIELDS TERMIN...
2018-11-21 10:51:09 3533
原创 重启kafka进程
1,写了一个重启kafka进程的脚本,内容如下:[root@newsclient.dataanalysis.hadoop19v11.syq bin]# more kafka-restart.sh#!/bin/shsource ~/.bash_profile##java envexport JAVA_HOME=/usr/local/java/jdk1.8.0_112export JR...
2018-11-09 16:24:54 9917
原创 MPP数据库性能测试
目录一,测试目的二,测试环境1,硬件环境2,软件环境三,数据生成四,hive测试1,创建hive库表一,测试目的 测试MPP架构数据库的性能。二,测试环境1,硬件环境 3台虚拟机 组件 配置 CPU 32核心 ...
2018-10-22 17:08:11 3143
原创 hdfs put文件异常告警
场景:NameNode节点:masterDataNode节点:slave1 , slave21,往hdfs中put文件的时候报以下错误,但是执行结果是正常的,:[hdfs@master ~]$ hadoop fs -put /file1.tgz /tmp17/07/25 00:43:29 INFO hdfs.DFSClient: Exception in createBlockO...
2018-04-09 15:37:06 3081
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人