ljy_1997的博客

原创 草稿

草稿package sss;import java.io.File;import java.io.FileInputStream;import java.io.InputStream;import java.net.URL;public class EncodingDetect { public static void main(String[] args) {...

原创 YARN集群搭建

因为之前讲解过HDFS高可用完全分布式的搭建，详见：https://mp.csdn.net/postedit/830368891.修改配置文件进入/opt/hadoop/hadoop-2…6.5/etc/hadoop目录下，修改mapred-site.xml.template文件mv mapred-site.xml.template mapred-site.xml并在文件中加入参数&l...

原创 HDFS小结

HDFS小结

原创 HDFS高可用分布式的搭建

HDFS高可用分布式的搭建注：此工作的搭建基于完全分布式的基础之上。参考链接：https://mp.csdn.net/postedit/83003119集群规划：(1) 配置免密登录 （如果操作失败，搞乱了各个节点的密钥，删除 .ssh/目录下文件重新配置）node01->node01 node01->node02 node01->node03 node01...

原创 配置集群客户端和eclips

eclipse视图下操作HDFS在搭建好HDFS完全分布式或高可用性HDFS完全分布式后。（若未部署参考：https://mp.csdn.net/postedit/83003119）具体步骤：1. 在eclipse中配置hadoop插件去官网下载相关jar包找到eclipse安装目录将下载的jar放入以下目录中（如果没有则自行创建）2.上述步骤完成后启动eclipse（如果...

原创 HDFS伪分布式模式和完全分布式的搭建

HDFS三种模式的搭建伪分布式(1) 配置免密登录 node01->node01ssh-keygen -t rsassh-copy-id -i ~/.ssh/id_rsa.pub root@node01(2) 配置JDKexport JAVA_HOME=/opt/software/jdk/jdk1.8.0_151export PATH=$PATH:$JAVA_HOME/...

原创 思维导图

原创 初学大数据

**初学大数据 day01大数据短时间内快速的产生海量的多种多样的有价值的数据大数据技术：分布式存储分布式存储简单的来说，就是将数据分散存储到多个存储服务器上，并将这些分散的存储资源构成一个虚拟的存储设备。分布式存储架构由三个部分组成：客户端、元数据服务器和数据服务器。客户端负责发送读写请求，缓存文件元数据和文件数据。元数据服务器负责管理元数据和处理客户端的请求，是整个系统的核心组件...