Hadoop
文章平均质量分 51
leelongzaitianya
这个作者很懒,什么都没留下…
展开
-
MPP数据库性能测试
目录一,测试目的二,测试环境1,硬件环境2,软件环境三,数据生成四,hive测试1,创建hive库表一,测试目的 测试MPP架构数据库的性能。二,测试环境1,硬件环境 3台虚拟机 组件 配置 CPU 32核心 ...原创 2018-10-22 17:08:11 · 3132 阅读 · 0 评论 -
hive表之索引
1,查看表employees索引信息:show formatted index on employees2,说明:原表是user创建索引后的表是user_index_table索引是user_index 先创建原表create table user(id int, name string) ROW FORMAT DELIMITED FIELDS TERMIN...原创 2018-11-21 10:51:09 · 3494 阅读 · 0 评论 -
kafka消息堆积的研究
1,查看某个broker所拥有的consumer groupbin/kafka-consumer-groups.sh --list --bootstrap-server 10.80.62.159:90922,查看local-task messages堆积情况:bin/kafka-consumer-groups.sh --describe --bootstrap-server 10....原创 2018-12-07 11:24:33 · 4713 阅读 · 0 评论 -
hive3.0新特性
1,Hive 3.0新特性一:不再支持Mr,取而用Tez 查询引擎,且支持两种查询模式:Container 和 LLAP2,Hive 3.0新特性二:Hive CLI不再支持(被beeline取代)3,Hive 3.0新特性三:SQL Standard Authorization 不再支持,且默认建的表就已经是ACID表。4,Hive 3.0新特性四:支持 “批查询” ...原创 2018-12-07 15:11:47 · 7555 阅读 · 0 评论 -
Name Error: The domain name does not exist
1,报错现象:搭建的测试HDP集群的hdfs,hive,hbase等组件无法启动,报下面错误。一直以为是公司内部DNS有问题,Name Error: The domain name does not exist2,后来自己用Python起个SimpleHTTPServer,别的机器可以用,这台机器不能用。后来经过同事咨询发现,集群使用了squid代理服务器,代理服务器上squid服务...原创 2019-02-26 15:40:46 · 2372 阅读 · 0 评论