大数据
文章平均质量分 92
大话JAVA的那些事
自律给我自由!!!
展开
-
四十四、DataNode的目录结构
              &原创 2018-10-24 09:39:24 · 482 阅读 · 0 评论 -
三十五、HDFS的FileSystem常用操作
package com.yang.hdfs;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;im...原创 2018-10-15 14:36:06 · 2125 阅读 · 0 评论 -
三十四、HDFS客户端操作
        &amp原创 2018-10-15 11:15:39 · 361 阅读 · 0 评论 -
十六、linux常用基本命令
           &a原创 2018-10-08 17:20:17 · 259 阅读 · 0 评论 -
三十三、HDFS命令行操作
&n原创 2018-10-14 19:50:38 · 383 阅读 · 0 评论 -
三十二、HDFS产生背景、概念、优缺点、块大小
              &原创 2018-10-14 16:04:27 · 1674 阅读 · 0 评论 -
十五、用户组操作命令及开关机命令
              &原创 2018-10-07 21:52:37 · 318 阅读 · 0 评论 -
十四、linux目录结构
                  &原创 2018-10-07 17:35:07 · 249 阅读 · 0 评论 -
十三、maven常用功能介绍
     &a原创 2018-07-04 16:22:47 · 606 阅读 · 0 评论 -
十二、Maven安装、介绍
       &a原创 2018-07-04 15:08:33 · 390 阅读 · 0 评论 -
十七、VI/VIM编辑器
&n原创 2018-10-09 09:17:16 · 238 阅读 · 0 评论 -
十八、RPM详解
                  &a原创 2018-10-09 14:40:56 · 621 阅读 · 0 评论 -
四十三、DataNode工作机制
&n原创 2018-10-24 09:35:00 · 415 阅读 · 0 评论 -
四十二、集群安全模式操作
&n原创 2018-10-24 09:25:32 · 340 阅读 · 0 评论 -
四十一、SecondaryNameNode目录结构、nameNode故障恢复
                  &原创 2018-10-20 17:02:38 · 1248 阅读 · 0 评论 -
四十、分析镜像文件、编辑日志文件的生成
&am原创 2018-10-20 15:21:13 · 446 阅读 · 0 评论 -
十九、Shell编程
                  &原创 2018-10-10 17:19:30 · 338 阅读 · 0 评论 -
三十九、NameNode工作机制、镜像文件、编辑日志文件、namenode版本号
      &原创 2018-10-16 14:22:07 · 1676 阅读 · 0 评论 -
三十八、一致性模型和nn、2nn工作机制
一致性模原创 2018-10-16 10:48:36 · 470 阅读 · 0 评论 -
三十七、机架感知(副本节点选择)及HDFS读数据流程
机架感知(副本节点选择)及HDFS读数据流程1、低版本Hadoop副本原创 2018-10-16 10:05:33 · 972 阅读 · 0 评论 -
三十六、HDFS的写数据流程及网络拓扑概念
HDFS的写数据流程及网络拓扑概念1、HDFS的写数据流程1)客户端向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。2)namenode返回是否可以上传。3)客户端请求第一个 block上传到哪几个datanode服务器上。4)namenode返回3个datanode节点,分别为dn1、dn2、dn3。5)客户端请求dn1上传数据,dn1收到请...原创 2018-10-16 09:35:16 · 614 阅读 · 0 评论 -
十一、maven配置文件settings.xml详解
<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:/原创 2018-07-03 22:08:15 · 599 阅读 · 0 评论 -
十、linux虚拟机克隆及配置
linux虚拟机克隆及配置一、克隆虚拟机 二、配置克隆虚拟机1、修改主机名hostname 查看主机名vi /etc/sysconfig/network 修改主机名vim /etc/hosts 主机域名解析2、修改配置文件参考这篇文章: https://b...原创 2018-07-03 20:55:01 · 885 阅读 · 0 评论 -
二十九、日志的聚集
将每次Hadoop运行功能都放到HDFS上1、开启日志聚集功能[admin@hadoop13 hadoop-2.7.2]$ vim etc/hadoop/yarn-site.xml 添加如下配置:<!-- 日志聚集功能使能 --><property><name>yarn.log-aggregation-enable</name><...原创 2018-10-13 14:52:37 · 319 阅读 · 0 评论 -
二十八、历史服务配置启动查看
1、配置mapred-site.xml[admin@hadoop13 hadoop]$ cd /opt/module/hadoop-2.7.2/etc/hadoop [admin@hadoop13 hadoop]$ mv mapred-site.xml.template mapred-site.xml [admin@hadoop13 hadoop]$ vim mapred-site.xml...原创 2018-10-13 14:26:01 · 739 阅读 · 0 评论 -
二十七、修改本地临时文件存储目录及Hadoop配置文件说明
&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp;修改本地临时文件存储目录及Hadoop配置文件说明1、 修改本地临时文件存储目录1.1、停止进程[admin@hadoop12 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager[原创 2018-10-13 13:45:19 · 3621 阅读 · 1 评论 -
二十六、伪分布式(Pseudo-Distributed Operation、单节点)之启动YARN并运行MapReduce 程序
&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;伪分布式(Pseudo-Distributed Operation、单节点)之启动YARN并运行MapReduce 程序文章步骤: (1)准备1台客户机 (2)安装jdk (3)配置jdk环境变量 (4)安装hadoop原创 2018-10-13 00:36:19 · 562 阅读 · 0 评论 -
二十五、伪分布式(Pseudo-Distributed Operation、单节点)之启动HDFS并运行MapReduce 程序
&amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp原创 2018-10-12 15:11:53 · 498 阅读 · 0 评论 -
二十四、Hadoop Standalone Operation(Hadoop单机模式)
Hadoop Standalone Operation(Hadoop单机模式)1、单机模式之grep案例官方案例地址:http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html...原创 2018-10-11 23:00:54 · 608 阅读 · 0 评论 -
二十三、linux环境下编译Hadoop源码图文详解
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&原创 2018-10-11 16:53:18 · 438 阅读 · 0 评论 -
二十二、安装Hadoop图文详解
&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &a原创 2018-10-11 16:16:58 · 299 阅读 · 0 评论 -
二十一、修改linux用户具有创建文件夹的权限
编辑以下文件,为admin用户添加权限:vim /etc/sudoers## Allow root to run any commands anywhere root ALL=(ALL) ALLadmin ALL=(ALL) ALL原创 2018-10-11 14:54:09 · 3060 阅读 · 0 评论 -
三十、完全分布式部署Hadoop
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&原创 2018-10-14 02:59:35 · 591 阅读 · 0 评论 -
三十一、集群时间同步
&n原创 2018-10-14 03:11:33 · 266 阅读 · 0 评论 -
九、linux主机安装JDK
linux主机安装JDK一、下载linux版本JDK链接:https://pan.baidu.com/s/1uE6fnFr6zsfIMZ4ufLt_eQ密码:thjq二、安装JDK1、上传安装包到指定目录rpm -qa|grep java 查看本机是否有安装JDKrpm -e 软件包路径+名 卸载JDK/opt/modul...原创 2018-07-03 20:38:48 · 350 阅读 · 0 评论 -
八、linux虚拟机主机名配置及防火墙设置
linux虚拟机主机名配置及防火墙设置一、主机名配置hostname 查看主机名vi /etc/sysconfig/network 修改主机名vim /etc/hosts 主机域名解析二、防火墙设置service iptables status 查看防火墙状态service ip...原创 2018-07-03 20:11:17 · 1976 阅读 · 0 评论 -
七、手把手教你配置虚拟机网络
&amp;amp;amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;a原创 2018-07-03 16:27:58 · 1877 阅读 · 0 评论 -
六、手把手教你安装VMTools工具
&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;n原创 2018-07-03 15:17:50 · 26287 阅读 · 0 评论 -
五、手把手教你在VMWare安装CentOS虚拟机
&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;n原创 2018-07-03 14:59:07 · 484 阅读 · 0 评论 -
四、window如何启动和关闭MySQL服务
如何启动和关闭MySQL服务呢? 方法一:右击”我的电脑“–&amp;amp;amp;gt;”管理“–&amp;amp;amp;gt;”服务和应用程序”–&amp;amp;amp;gt;”服务”。 方法二:通过 DOS 窗口启动和关闭MySQL服务。 在 DOS 窗口中,如果想查看 Windows 系统已经启动的服务,使用命令:net start 关闭MySQL服务:net stop MySQL; 开启MySQ原创 2018-04-06 19:37:39 · 10246 阅读 · 2 评论