![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
coder阿龙
这个作者很懒,什么都没留下…
展开
-
Hadoop大数据(第一天)集群安装部署
1、什么是大数据基本概念《数据处理》在互联网技术发展到现今阶段,大量日常、工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理海量数据的软件工具应运而生,这就是大数据!处理海量数据的核心技术:海量数据存储:分布式海量数据运算:分布式这些核心技术的实现是不需要用户从零开始造轮子的存储和运算,都已经...原创 2019-01-02 08:24:28 · 175 阅读 · 0 评论 -
Kafka消息中间件入门自学笔记
1.Kafka概述在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2)Kafka最初是由LinkedIn公司开发,并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、...原创 2019-01-03 17:27:56 · 936 阅读 · 0 评论 -
Hadoop概念、安装、使用
Hadoop学习笔记Hadoop概念1.思想之源 HDFS分布式存储2.1 HDFS概念2.2 HDFS优点 HDFS缺点 HDFS架构 HDFS存储单元(block) HDFS设计思想 HDFS核心概念 1.NameNode概念 2.Secon...原创 2019-01-02 08:24:49 · 545 阅读 · 0 评论 -
Hadoop大数据(第二天)JavaApi的调用
1 下载个windows版的hadoop配置bin目录HADOOP_PATH2 引入jar包hadoop/common里的common包lib里面所有的包3 构造客户端package hdfs24;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;impor...原创 2019-01-02 08:25:28 · 180 阅读 · 0 评论 -
zookeeper安装及使用文档
1.Zookeeper介绍Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务。zookeeper是为别的分布式程序服务的Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务)Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……虽然说可以提供各种服务,但是zookeeper...原创 2019-01-03 23:24:48 · 735 阅读 · 0 评论 -
JAVA大数据技术栈列表
原创 2019-02-15 14:28:14 · 1615 阅读 · 1 评论