大数据
文章平均质量分 72
keeper_zdl
这个作者很懒,什么都没留下…
展开
-
Ubuntu下安装单机版hbase
1.下载安装hbase: wget http://mirror.bit.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz2.我解压放在了/usr/local的目录下3.在/etc/profile中添加环境变量 export HBASE_HOME=/usr/local/hbase export PA原创 2017-11-17 12:54:33 · 1054 阅读 · 0 评论 -
HugeGraph简介及部署
Welcome to HugeGraphSummaryHugeGraph是一款易用、高效、通用的开源图数据库系统(Graph Database,GitHub项目地址),实现了Apache TinkerPop3框架及完全兼容Gremlin查询语言,具备完善的工具链组件,助力用户轻松构建基于图数据库之上的应用和产品。HugeGraph支持百亿以上的顶点和边快速导入,并提供毫秒级的关联关系查询能...翻译 2019-08-29 23:38:01 · 4219 阅读 · 0 评论 -
centos7环境搭建hadoop+hbase+zookeeper+phoenix+thritf
一.环境说明系统:CentOS Linux release 7.6.1810 (Core)IP:10.255.175.84Jdk:1.8.0_25Hadoop:2.7.5Hbase:1.2.6Zookeeper: zookeeper-3.4.10Phoenix: phoenix-4.14.1-HBase-1.2-binThrift: thrift-0.11.0二...原创 2019-04-17 11:10:11 · 1108 阅读 · 0 评论 -
hadoop集群安装压缩工具snappy(用于hbase)
hadoop集群安装:https://blog.csdn.net/weixin_40596016/article/details/80392109 之前配置ganglia监控hadoop集群,发现cpu的负载并不是很高。所以为了节省服务器的存储成本,并提高吞吐,打算开启HBase的数据压缩。主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO。相比于gzi...原创 2018-09-06 14:07:27 · 659 阅读 · 0 评论 -
关于kafka处理大消息的方法
最近发现kafka在发送一些大消息的时候会报错,修改了配置max.request.size。问题依旧。 后来查阅了一下,都说要调大限制message大小的参数,不过试过之后发现貌似没什么作用。查阅文档发现之前用的客户端kafka已经三年没更新了0.0,后改为目前官方推荐的客户端confluent_kafka,加上"message.max.bytes"参数。然而依旧没什么作用。。。...原创 2018-08-01 16:29:44 · 3464 阅读 · 4 评论 -
kafka性能测试
写入压力测试kafka-producer-perf-test.sh--topic topic名称,本例为test_property--num-records 总共需要发送的消息数,本例为1000000--record-size 每个记录的字节数,本例为1000--throughput 每秒钟发送的记录数,本例为20000--produc...原创 2018-06-05 09:43:34 · 1938 阅读 · 0 评论 -
Hadoop+hbase+zookeeper完全分布式搭建
Hadoop+hbase+zookeeper完全分布式搭建一.环境说明集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: Hostname IP User Password master...原创 2018-05-21 14:45:56 · 4367 阅读 · 5 评论 -
master.HMasterCommandLine: Master exiting Cannot assign requested address. To switch ports use the '
在搭建hdfs起hbase的时候报错2018-04-25 10:56:41,772 ERROR [main] master.HMasterCommandLine: Master exitingjava.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMas原创 2018-04-25 11:13:25 · 1879 阅读 · 0 评论 -
Hadoop+hbase伪分布式安装,及配置优化
环境操作系统:centos7Jdk:1.8.0_25Hadoop:2.7.5Hbase:1.2.6hadoop安装Jdk安装及环境变量配置:略Hadoop安装下载hadoop-2.7.5.tar.gz解压进入/usr/local/hadoop/etc/hadoop打开文件Vim hadoop-env.sh搜索export JAVA_HOME,修改成自己的原创 2018-03-21 16:43:57 · 473 阅读 · 1 评论 -
ubuntu下下kafka 单机配置部署
kafka下载地址:http://kafka.apache.org/downloads环境: Linux版本:Ubuntu 16.04.3 LTS JDK版本:java version "1.8.0_25" zookeeper版本:zookeeper-3.3.6 kafka版本:kafka_2.10-0.9.0.1.tgz一.安装id原创 2017-11-16 16:06:09 · 993 阅读 · 0 评论 -
发布订阅消息系统--kafka的解析。
Kafka介绍:Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分...原创 2018-01-25 17:33:41 · 7230 阅读 · 0 评论 -
kafka常用命令
启动zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties &启动kafkabin/kafka-server-start.sh config/server.properties &停止kafkabin/kafka-server-stop.sh停止zookeeperbin原创 2018-02-28 14:40:46 · 353 阅读 · 0 评论 -
HBase详解
看到一篇关于hbase详细概述很好的文章,原文地址:http://blog.csdn.net/u010270403/article/details/51648462HBase简介HBase的发展史2006年底由PowerSet 的Chad Walters和Jim Kellerman 发起,2008年成为Apache Hadoop的一个子项目。现已作为产品在多家企业被转载 2018-03-08 09:44:22 · 209 阅读 · 0 评论 -
kafka搭建,原理,以及python操作kafka——总结
Kafka文档Kafka介绍:Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一...原创 2018-03-14 23:21:09 · 6480 阅读 · 1 评论 -
python操作hbase
环境:pythonhbasehbase的安装配置参考:http://blog.csdn.net/weixin_40596016/article/details/78559949thrift百度百科thrift是一个软件框架,用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎,以构建在 C++, Java, Go,Python, PHP, Ruby, Erlang, Per...原创 2018-03-07 11:09:35 · 366 阅读 · 0 评论 -
ubuntu ElasticSearch 安装
安装Elasticsearch依赖于jdk1.安装jdk,配置环境变量2.java -version检查是否安装成功,成功会出现版本信息 openjdk version "1.8.0_151" OpenJDK Runtime Environment (build 1.8.0_151-8u151-b12-0ubuntu0.16.04.2-b12)原创 2017-11-21 13:39:40 · 2595 阅读 · 0 评论 -
Ubuntu下Titan 环境搭建
Titan官网:http://titan.thinkaurelius.com/首先我们要了解Titan的一些特性,知道什么情况用到Titan1.弹性和线性可伸缩性的增长数据和用户群。2.数据分布和复制和容错性能。3.多数据中心的高可用性和热备份。4.支持 ACID事务和 最终一致性 。5.支持各种 存储后端 : Apache原创 2017-11-17 13:30:59 · 785 阅读 · 0 评论 -
Ubuntu下cassandra安装配置
环境:Ubuntu 16.04.3JDK:1.8.0_151配置环境变量:vi /etc/profile #set java environment export JAVA_HOME=/usr/local/javaDevelopment/jdk1.8.0_25 export JRE_HOME=$JAVA_HOME/jdk1.8.0_25/j原创 2017-11-21 17:07:21 · 1691 阅读 · 0 评论 -
HADOOP生态圈介绍
1. hadoop 生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统,集成spark生态圈。在未来一段时间内,hadoop将于spark共存,ha...原创 2019-09-05 20:29:54 · 440 阅读 · 0 评论