- 博客(4)
- 资源 (5)
- 收藏
- 关注
原创 kafka学习(三)----centos7中搭建kafka
前提,kafka和zookeeper依赖jdk,需要提前安装jdk 一、安装Zookeeper 1、官网下载Zookeeper安装包,在这里我下载的是zookeeper-3.4.6.tar.gz 2、解压 3、配置Zookeeper Zookeeper需要一个名为zoo.cfg的配置文件,我们解压后,得到的是官方的示例文件,名为zoo_sample.cfg,这个文件在zookeeper根...
2018-08-28 14:32:39 462
原创 hadoop安装问题(一)---安装Hadoop 2.x时主机名不能包含下划线
今天在安装hadoop时,按照要求修改了文件,最后执行了 hadoop namenode -format start-all.sh 执行jps命令 没有发现预期的5个进程 这是主机名有特殊符号导致的,我的主机名中包含了下划线,去掉下划线,重新修改与主机名相关的配制文件,重启一下hadoop,然后jps就看到5个进程了...
2018-08-03 09:31:52 814
转载 hadoop学习(二)---HDFS
简介 Hadoop Distributed File System,分布式文件系统 架构 Block数据 1、基本存储单位,一般大小为64M(配置大的块主要是因为:1)减少搜寻时间,一般硬盘传输速率比寻道时间要快,大的块可以减少寻道时间;2)减少管理块的数据开销,每个块都需要在NameNode上有对应的记录;3)对数据块进行读写,减少建立网络的连接成本) 2、一个大文件会被拆分成一个...
2018-08-03 09:30:06 275
转载 hadoop学习(一)---hadoop简介
Hadoop 简介 前言: 人产生数据的速度越来越快,机器则更加快,more data usually beats better algorithms,所以需要另外的一种处理数据的方法。 硬盘的容量增加了,但性能没有跟上,解决办法是把数据分到多块硬盘,然后同时读取。但带来一些问题: 硬件问题:复制数据解决(RAID) 分析需要从不同的硬盘读取数据:MapReduce 而Hadoo...
2018-08-02 15:05:50 489
电商微服务项目
2019-01-29
java桌面应用数据传输
2018-04-12
dubbo+zookeeper+springboot+mongdb+前端jsp整合
2018-02-06
dubbo+zookeeper+springboot整合
2018-02-01
Dubbo+zookeeper+Maven项目22222
2017-12-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人