- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop分布式部署
Hadoop分布式部署准备工作准备以下主机hadoop102hadoop103hadoop104配置102的Hadoop环境参考单机部署需要解决的问题创建文件夹并赋权上传解压文件配置环境变量文件我们环境变量这次就只使用一个,jdk和hadoop的写在一起sudo vim /etc/profile.d/hadoop_env.shexport JAVA_HOME=/opt/module/jdk1.8.0_181export HADOOP_HOME=/opt/module/
2022-05-24 13:13:47
219
1
原创 Pandas的基本运用
Pandas的基本运用介绍pandas是基于numpy数组构建的,负责数据预处理,清洗,分析等工作,pandas是专门为表格数据和混杂数据设计的Pandas提供两种数据模型SeriesDataFrame一个介绍普通的数组,一维多维数组,通常是二维series一个一维数组,其中每个元素都有自已的标签(索引)也就是位置;标签可以完美以前的数组的数组0,1,2,3,也可以是字符某种意义上来说,就是字典series的组成部分index:索引value: 数据数组(nadarr
2022-05-24 13:12:40
106
原创 Haoop 高可用
一、HA概述1.1 NameNode 工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点
2022-05-24 13:11:20
120
原创 flume安装,配置及端口与文件监听
flume安装单机版flume解压tar -zxvf 包名 -C 解压到指定目录改名(解压后的目录名,可不改)配置环境变量vim /root/.bash_profileexport FLUME_HOME=指定安装路径export PATH=PATH:PATH:PATH:FLUME_HOME/bin使配置环境立即生效source /root/.bash_profile创建配置文件vim 下载目录/flume/conf/duankou.conf(文件名自取)监听
2022-05-24 13:09:13
514
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人