- 博客(9)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Mapreduce wordcount简单流程案例分析
Mapreduce是一个分布式运算程序的编程框架，是用户开发"基于hadoop的数据分析应用"的核心框架Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。一个完整的mapreduce程序在分布式运行时有三类实例进程：1.MRAppMaster:负责整个程序的过程调度及状态协调2.mapTask：负责map阶段的整个数...
2018-06-30 19:19:01
963
原创 shell定时采集日志到hdfs中
#!/bin/bash#set java envexport JAVA_HOME=/gcx/jdk1.7.0_45export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH#set hadoop envex...
2018-06-18 18:26:48
688
转载 SecondaryNameNode的基本工作流程
首先来看一下HDFS的结构，如下图：如上图，在HDFS架构中，NameNode是职责是管理元数据信息，DataNode的职责是负责数据存储，那么SecondaryNameNode的作用是什么呢？其实SecondaryNameNode是hadoop1.x中HDFS HA的一个解决方案，下面我们来看一下SecondaryNameNode工作的流程，如下图：1.NameNode管理着元数据信息，元数据信...
2018-06-18 11:50:01
2605
1
原创 Hdfs读数据的流程
1 概述客户端将要读取的文件路径发送给namenode，namenode获取文件的元信息（主要是block的存放位置信息）返回给客户端，客户端根据返回的信息找到相应datanode逐个获取文件的block并在客户端本地进行数据追加合并从而获得整个文件2 详细流程图3.详细步骤解析1、跟namenode通信查询元数据，找到文件块所在的datanode服务器2、挑选一台datanode（就近原则，然后...
2018-06-18 11:27:23
339
原创 Hdfs写数据的流程
1概述客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本2详细步骤图3详细步骤解析1.跟namenode通信请求（RPC）上传文件，namenode中的元信息检查目标文件是否已经存在，父...
2018-06-17 16:59:24
1698
原创 Hadoop常用shell操作
-help 功能：输出这个命令参数手册-ls 功能：显示目录信息示例： hadoop fs -ls hdfs://hadoop-server01:9000/备注：这些参数中，所有的hdfs路径都可以简写-->hadoop fs -ls / 等同于上一条命令的效果-mkdir 功能：在hdfs上创建目录示例...
2018-06-16 19:19:09
232
原创 Hadoop（2.6.5版本）集群搭建
自己在本机准备安装四台linux环境，我本机安装的是最小化安装（内存分配512M），首先配置vi /etc/hostshost名字千万别有* / _等特殊字符，否则当你后面配置好后启动datenode报错：Does not contain a valid host:port authority然后关闭防火墙：service iptables stop ---- chkconfig i...
2018-06-16 18:53:14
2060
原创 SpringSecurity+SpringSocial+SpringSecurity OAuth环境搭建
本次环境搭建基于Maven项目，采用五个Maven工程gcxzflgl-security------------------------父工程gcxzflgl-security-core------------------核心工程gcxzflgl-security-app-------------------App工程gcxzflgl-security-browser--------------浏...
2018-06-05 21:48:03
942
原创 Springboot内置tomcat优化说明
修改springboot内置tomcatEmbeddedServletContainerCustomizer接口中的抽象方法有三个内置容器public interface EmbeddedServletContainerCustomizer { /** * Customize the specified {@link ConfigurableEmbeddedServletContaine...
2018-06-01 22:24:55
29242
2
MySQL-client-5.5.28-1.linux2.6.x86_64.rpm
2017-10-22
MySQL-server-5.5.28-1.linux2.6.x86_64.rpm
2017-10-22
git for window
2017-09-18
SVN64位下载
2017-08-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人