- 博客(21)
- 收藏
- 关注
RSS订阅转载 Hadoop实战第2版笔记-005MapReduce工作机制
1.MapReduce作业的执行流程 一个MapReduce作业的执行流程是:代码编写->作业配置->作业提交->Map任务的分配和执行->处理中间结果->Reduce任务的分配和执行->作业完成,而每个任务的执行过程中,又包含输入准备->任...
2019-01-17 11:08:00
187
转载 Hadoop实战第2版笔记-004开发MapReduce应用程序
1.系统参数配置 1.1.通过API对相关组件的参数进行配置 Hadoop的API分为以下几个部分: org.apache.hadoop.conf:系统参数的配置文件处理API org.apache.hadoop.fs:抽象的文件系统API org.apache.hadoop.df...
2019-01-17 11:07:00
153
转载 Hadoop实战第2版笔记-003MapReduce计算模型
1.为什么要用MapReduce 2.MapReduce计算模型 2.1.MapReduce Job 在Hadoop中,每个MapReduce任务都被初始化为一个Job,每个Job又可以分为两个阶段:Map阶段和Reduce阶段.分别用函数来表示:Map函数和Reduce函数....
2019-01-17 11:06:00
194
转载 Hadoop实战第2版笔记-001Hadoop简介
1.Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS和MapReduce为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 Hadoop的各个关联项目介绍： 1.Common：Commo...
2019-01-17 11:05:00
240
转载 Ubuntu18.04安装CrossOver笔记
因在Ubuntu系统中想使用部分Windows软件,如百度网盘等.通过VBox等虚拟软件使用的话,没法使用诸如百度网盘的本地同步等关键功能,不是很方便,所以学习使用通过cross_over来安装这部分软件.参考网上诸多文章后,在结合自己的实践,记录以下. 1.安装Ubuntu18.0...
2018-12-30 13:37:00
1100
转载 Hive笔记-001架构概述
因项目使用到Hive,在工作中阅读了许多文章和书籍,特此将笔记和自己的理解记录下来. 1.概述 Hive是最合适数据仓库应用程序的，其可以维护海量数据，而且可以对数据进行挖掘，然后形成意见和报告等。下图即是Hive与Hadoop交互的架构图： Hive的发行版本中附带的...
2018-11-30 14:29:00
250
转载 信息系统项目管理师学习思维导图-项目人力资源管理
转载于:https://my.oschina.net/u/3275937/blog/2206641
2018-09-23 02:14:00
200
转载 信息系统项目管理师学习思维导图-01信息化和信息系统
转载于:https://my.oschina.net/u/3275937/blog/1917701
2018-07-29 21:25:00
508
转载 Python核心编程阅读笔记-3字符串
1.序列基础 1.1.标准类型操作符 标准类型操作符一般都能适用于所有的序列类型，如果作复合类型的对象比较的话，可能有所差别。 1.2.序列类型操作符 序列操作符 作用 seq[ind] 获...
2018-05-23 09:47:00
120
转载 Python核心编程阅读笔记-2数字
1.整型 1.1.标准整型 Python标准整型类型是最通用的数字类型，32位机器上取值范围 -2^31 ~ 2^31-1 Python也支持八进制或十六进制表示整型 八进制整型以数字 ‘0’ 开始，十六进制整型以‘0x’ ‘0X’开始 1.2.长整型 Python长整型...
2018-05-08 16:07:00
129
转载 Python核心编程阅读笔记-1基础知识
1.概述 # 表示之后的字符为Python注释 \n 标准的行分隔符 \ 继续上一行 ; 两个语句连接在一行 : 将代码块的头和体分开 语句（代码块）用缩进块的方式体现 Python主程序代码无论模块是被导入还是被直接咨询，都是通过检查__name__变量的值然后再执行相应...
2018-05-08 16:03:00
90
转载 VBOX+CentOS7 安装Hadoop1.X 、2.X
1.VBOX安装CentOS7 1.1.安装VBOX软件 （略） 1.2.下载CentOS7镜像文件 从阿里镜像网站（https://mirrors.aliyun.com/centos/7.4.1708/isos/x86_64/）下载镜像文件 1.3.初始化VBOX虚拟盘...
2018-04-12 10:07:00
347
转载 XStream笔记
最近在工作中使用Xstream解析xml参考网上文章进行整理归纳如下 1.简介 XStream是一个Java对象和XML相互转换的工具(也支持json的转换),提供了所有的基础类型、数组、集合等类型直接转换的支持.XStream对象相当Java对象和XML之间的转换器，转换过程是双向.使用X...
2017-10-20 15:30:00
176
转载 SPOOL导出大量数据时，导出不全问题处理
近日在工作中使用spool方式，将oracle 中400万数据的表数据导出，其中需要关联几张大表，但数据输出为400万左右。在日常运行过程中，会偶尔出现spool导出不完全的情况。 在详细分析spool参数后，尝试设置参数set pagesize 1000;...
2017-08-01 15:04:00
2527
转载 使用mina框架构建最简单的client工具类
最近在工作中使用到了mina框架，在研究众多文章后，自己简单写了一个mina client的工具类，请多多指正。 import org.apache.log4j.Logger;import org.apache.mina.core.filterchain.IoFilter;import ...
2017-05-19 16:53:00
239
转载 一些对SOA的理解
以下是在工作过程中，对应SOA框架的理解，请多多指正。 转载于:https://my.oschina.net/u/3275937/blog/859790...
2017-03-15 16:38:00
105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人