大数据
文章平均质量分 89
_nMaple_
常用语言C、Perl、Shell,目前涉足Java/Scala开发。酷爱Linux及开源。研究Hadoop分布式和一些大数据技术、框架、工具。对安全方面感兴趣。
展开
-
Sqoop1.99.7安装、配置和使用(一)
本文描述sqoop1.99.7安装、配置过程,并叙述了笔者在这过程中遇到的一些注意事项,一些坑,作总结。原创 2016-08-28 12:54:18 · 19304 阅读 · 36 评论 -
Apache Hive2.1.1安装部署
记录Hive2.1.1版本在CentOS7下的安装部署,及个人遇到的一些坑,一些解决办法。原创 2017-05-12 18:21:07 · 3042 阅读 · 0 评论 -
Hive表操作及管理
Hive表个人实践总结原创 2017-05-26 18:06:15 · 1888 阅读 · 0 评论 -
Apache Cassandra3.10集群安装部署
一、安装环境操作系统:CentOS Linux release 7.2.1511 (Core)Cassandra版本:Apache Cassandra3.10Oracle JDK:1.8.0_101集群节点:5;Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz双核;内存30G;硬盘总共约3T。二、Apache Cassandra原创 2017-05-27 17:51:06 · 5174 阅读 · 0 评论 -
Druid0.10伪分布式部署
Druid是一个高性能的面向列存储的分布式存储系统。支持亚秒级的点对点数据查询,包括数据分组,聚合,过滤等操作。其实现目标是支持面向应用的多用户交互查询。可以接入实时数据流(如Kafka)或载入静态数据文件,事先完成数据预计算,以提供更快的查询性能。Druid部署硬件要求较高,主要是内存上的要求,因大部分数据都会载入内存,同时Druid又是一个内存数据库。本文主要介绍Druid安装部署。原创 2017-06-15 17:51:12 · 739 阅读 · 0 评论 -
Druid0.10.0分布式部署配置
Druid分布式部署及静态数据导入。原创 2017-06-20 14:37:12 · 1877 阅读 · 1 评论 -
单机节点Kafka配置SASL用户名密码认证
伪分布式Kafka,只用一个节点,zookeeper也用集成在Kafka里的。首先得配置zookeeper的SASL,再配置Kafka broker的SASL。先启动zookeeper节点,再启动Kafka broker。最后测试consumer和读写。Kafka版本2.11-0.10.0.0,集成的zookeeper为3.4.6。一、Zookeeper1、原创 2017-06-13 17:13:38 · 11531 阅读 · 1 评论 -
Kafka安全认证SASL下附带工具的配置使用
描述Kafka配置安全认证策略SASL_PLAIN后如何正确配置并使用附带工具kafka-console-*.sh,kafka-consumer-groups.sh。原创 2017-06-24 11:38:37 · 7004 阅读 · 3 评论 -
Apache Kafka0.10.0.0集群部署
Kafka集群部署需要依赖一个Zookeeper集群,用于Kafka broker之间的消息触发。不建议使用Kafka内嵌的Zookeeper。本文不对Zookeeper部署做描述。另外,Kafka是Java语言实现的,也必须有JDK,部署前确定环境变量,用户名称。一、环境1、操作系统Ubuntu 16.04.1 LTS x86_64Debian 8.7 x86_64原创 2017-06-14 18:34:59 · 676 阅读 · 0 评论 -
Presto0.167安装部署
描述Presto0.167安装、部署与配置过程。原创 2017-05-12 11:46:21 · 1465 阅读 · 0 评论 -
Hadoop 2.7分布式部署
本文为个人搭建Hadoop集群总结,其中也总结了个人所遇到的一些问题,一些个人见解。原创 2016-09-11 13:40:40 · 3445 阅读 · 0 评论 -
HBase概述
本文简单介绍HBase及HBase与Hadoop的关系。原创 2016-08-21 14:47:58 · 731 阅读 · 0 评论 -
Hadoop概述
简单介绍了Hadoop,本文不涉及HDFS、HBase和MapReduce更详细的说明,详细请点击文中链接。原创 2016-08-21 14:27:19 · 917 阅读 · 0 评论 -
HBase使用总结
介绍基本的客户端命令行使用。原创 2016-08-21 14:54:10 · 642 阅读 · 0 评论 -
Sqoop1.99.7安装、配置和使用(二)
本文描述了sqoop1.99.7从mysql将数据导入hdfs的各项作业创建步骤,并叙述一些注意事项,最后作了总结。原创 2016-08-28 22:41:36 · 10613 阅读 · 61 评论 -
Redis 简介
官方redis简介的翻译。因个人能力有限,仅翻译至此。翻译 2016-10-14 18:21:34 · 570 阅读 · 0 评论 -
Sqoop1.4.6安装与使用(二)
本文主要介绍了Sqoop-import工具的基本使用和一些注意事项,并举例了Sqoop1.4.6从Oracle导入到HBase的作业事例。原创 2016-11-28 19:00:12 · 2940 阅读 · 2 评论 -
Sqoop1.4.6安装与使用(一)
本文主要叙述Sqoop1.4.6安装和一些注意事项,非常简单。原创 2016-11-28 15:17:55 · 7220 阅读 · 2 评论 -
简单Spark作业编写与提交执行
本文分析一个简单的spark作业,编写并使用spark-submit提交执行过程。原创 2016-11-14 17:41:12 · 6731 阅读 · 0 评论 -
集群Kafka配置SASL用户名密码认证
本文中配置的kafka集群为三节点,Zookeeper有4节点。两个集群相互独立。Apache Kafka v2.11-0.10.0.0Apache Zookeeper v3.4.8Kafka配置SASL PLAIN用于完成基本的用户名密码身份认证。一、Zookeeper集群配置SASLzookeeper所有节点都是对等的,只是各个节点角色可原创 2017-06-13 17:37:05 · 22040 阅读 · 27 评论