大数据
coder阿龙
这个作者很懒,什么都没留下…
展开
-
Hadoop大数据(第一天)集群安装部署
1、什么是大数据 基本概念 《数据处理》 在互联网技术发展到现今阶段,大量日常、工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理海量数据的软件工具应运而生,这就是大数据! 处理海量数据的核心技术: 海量数据存储:分布式 海量数据运算:分布式 这些核心技术的实现是不需要用户从零开始造轮子的 存储和运算,都已经...原创 2019-01-02 08:24:28 · 185 阅读 · 0 评论 -
Kafka消息中间件入门自学笔记
1.Kafka概述 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2)Kafka最初是由LinkedIn公司开发,并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、...原创 2019-01-03 17:27:56 · 945 阅读 · 0 评论 -
Hadoop概念、安装、使用
Hadoop学习笔记 Hadoop概念 1.思想之源 HDFS分布式存储 2.1 HDFS概念 2.2 HDFS优点 HDFS缺点 HDFS架构 HDFS存储单元(block) HDFS设计思想 HDFS核心概念 1.NameNode概念 2.Secon...原创 2019-01-02 08:24:49 · 558 阅读 · 0 评论 -
Hadoop大数据(第二天)JavaApi的调用
1 下载个windows版的hadoop 配置bin目录HADOOP_PATH 2 引入jar包 hadoop/common里的common包 lib里面所有的包 3 构造客户端 package hdfs24; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; impor...原创 2019-01-02 08:25:28 · 188 阅读 · 0 评论 -
zookeeper安装及使用文档
1.Zookeeper介绍 Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务。 zookeeper是为别的分布式程序服务的 Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务) Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务…… 虽然说可以提供各种服务,但是zookeeper...原创 2019-01-03 23:24:48 · 746 阅读 · 0 评论 -
JAVA大数据技术栈列表
原创 2019-02-15 14:28:14 · 1624 阅读 · 1 评论