![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 72
记录大数据的学习日志
yang_coder
未曾停止学习和进步,也未曾停止过爱你。
展开
-
记一次HBase集群的搭建配置
最近在搭建大数据等环境,用来学习一些组件或者东西的使用,这里简单的记录下搭建HBase的一些配置文件记录 当然了,搭建HBase的环境就需要先搭建ZooKeeper的环境,这里由于我之前都是搭建的分布式环境,所以这里也搭建分布式的环境来一起操作。 Zookeeper的集群环境搭建 先将Zookeeper上传到服务器上 将文件解压到 /usr/local/的目录下 tar -zxf zo...原创 2019-12-02 23:14:56 · 166 阅读 · 0 评论 -
记一次Hadoop配置操作记录
最近一周都是再看大数据方面的知识,计划着这段时间来学习大数据的知识,然后在搭建Hadoop等环境的时候,也是用了一些时间吧,感觉还是很有必要来记录一下这方面的配置知识。 先安装一太,安装好JDK的环境,然后其他的几台直接克隆就可以了,就不用一个一个的安装,要是一个一个的安装还是比较要时间的。 export JAVA_HOME=/opt/jdk1.8.0_181 export PATH=$J...原创 2019-12-01 22:49:44 · 140 阅读 · 0 评论 -
记一次Hadoop的指令hadoop fs 记录
若没有猛然的欢喜,自然也不会有悲痛的来袭 今天看了一下大数据的知识,打算之后的一段时间都会学一下大数据的知识 1 : HDFS的概念 HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色 适合的场景 ...原创 2019-09-08 20:41:14 · 274 阅读 · 0 评论 -
记一次Linux(Centos7)上安装Zookeeper
关于之前的你,我爱过。分吹来的时候,我还是会想起你。 这篇文章主要记录下上在Linux上安装Zookeeper。个人认为,在分布式之类的基础学习上,特别是Java开发,还是要对Zookeeper有基本的了解。我这里就主要是记录一下安装Zookeeper 1 : Zookeeper 概念 Zook...原创 2019-09-08 23:42:00 · 118 阅读 · 0 评论 -
记一下HDFS的概念和一些数据概念等
关于我的后半生,只想和你有关。 1 : HDFS写数据流程 1)客户端向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。 2)namenode返回是否可以上传。 3)客户端请求第一个 block上传到哪几个datanode服务器上。 4)namenode返回3个dat...原创 2019-09-09 23:33:16 · 143 阅读 · 0 评论 -
记一次关于Hadoop的配置或者启动操作
学习大数据篇 ---Hadoop 环境基于 VM 上安装的 Centos 7 Hadoop 的单机安装知识 : 如果你的Centos 之前是有java环境的话,那么就卸载了安装一个新的. java --version 可以看到是你安装的那个jdk 版本就可以。安装Hadoop之前,是要有Jav...原创 2019-10-05 00:12:46 · 163 阅读 · 1 评论 -
记一次Client 端操作Hadoop出现的错误
Error Log 哈哈哈哈 很奇怪的一个问题,我之前操作都没有问题的,但是今天却给我遇见了,所以就贴出来做一些记录 这是我想创建目录的代码 @Test public void mkdirsTest() throws IOException, URISyntaxException, Interru...原创 2019-10-05 11:46:49 · 329 阅读 · 0 评论