自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

狮锅艺

碎片时间提升自己

  • 博客(25)
  • 收藏
  • 关注
全部文章> 2017年06月
排序：
按最后发布时间
按访问量
RSS订阅
09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Hadoop实践（四）---MR作业配置

一个Hadoop作业可获得的全部支持在HadoopAPI中有详细的描述

2017-06-30 10:29:01 1711

原创 Hadoop实践（四）---性能调优

Hadoop的主要吸引力之一就是它的线性可扩展性。许多作业都可以通过添加更多的机器来加速。Hadoop在性能调优上有一些特定的手段和技巧，总体来说颇有成效。1、通过Combiner来减少网络流量Combiner可以减少在map和reduce之间的shuffle的数据量，较低的网络流量缩短了执行时间2、减少输入数据量在处理大型数据集时，有相当一部分时间花费在扫描磁盘中的数据。减少需要读取的字节数，可以

2017-06-29 18:54:12 511

原创 Hadoop实践（四）---生成集群上的监视和调试

成功的在伪分布集群中运行作业之后，可以将实际数据放在生产集群上运行。伪分布式和生产集群的区别：1- 伪分布模式下只有一个节点，所以的日志文件都放在单独的目录/logs中，可以在本地访问1- 在全分布集群中，每个节点都有自己的/logs目录保存其日志文件，通过特定节点上的日志文件来诊断该节点的问题2- 集群中各个守护进程的域名和地址不同，需要根据具体情况确定

2017-06-29 18:24:26 520

原创 Hadoop实践(三）---高阶MapReduce

在运行作业处理数据集时，这个作业通常可以通过编写基本的MapReduce程序来生成，但有时需要编写更高级的程序来形成多个作业，或者用他们处理多个数据集。Hadoop有几种不同的方式把多个作业协调在一起，按照顺序链接或按照预定义的依赖关系来执行

2017-06-29 16:20:32 824

原创 Maven实践---导航

Maven实践导航

2017-06-28 14:50:16 652

原创 Hadoop实践（三）---新旧API对比

新旧API的对比和变化

2017-06-26 10:03:45 996

原创 Maven实践（十）---多种打包jar的方式

关于maven创建项目后如何把依赖文件一起打包到jar包中的几种方式

2017-06-23 11:00:32 605

原创 Hadoop实践（三）---MapReduce中的Counter

在Hadoop的MapReduce框架中包括6种Counters，每一种包含若干个Counter，分别对Map和Reduce任务进行统计 Tips：图片中是Hadoop2.7.3 Counters 略有更新 注意区分 其实根据字面意思大概就知道这个Counter是干啥的

2017-06-21 07:36:19 2590

原创 Java实践（三）---常用的流和文件处理类

Java.io 和 Java.nio 中常用类

2017-06-20 16:11:02 1184

原创 Java实践---导航

Java实践 导航

2017-06-17 12:44:16 1037

原创 Java实践（一）---字符串

String类型 字符串 常量池 StringBuffer等

2017-06-17 12:29:26 724

原创 Java实践（二）---多态性

构造函数，多态，继承，接口等

2017-06-17 10:06:53 847

原创 Java实践（一）---传递与引用

在Java中，值传递也引用传递

2017-06-16 13:04:42 451

原创 Java实践（二）---异常小结

Java异常的类型和处理机制

2017-06-16 11:00:08 491

原创 Java实践（零）---ASCII码表

Java编程中，所有的字符都是Unicode码，ASCII是其中的一部分，也是非中文字符中最常用的

2017-06-16 09:23:00 4174

原创 Java实践（一）---程序设计基本概念

Java程序设计中的一些基本概念

2017-06-15 11:15:57 665

原创 Spark原理---导航

Spark简介导航

2017-06-14 14:50:08 618

原创 Hadoop实践---导航

Hadoop实践 目录导航

2017-06-14 14:47:21 1063

原创 基础算法（Java实现）导航

基础算法(Java版）原理和代码实现

2017-06-14 14:08:48 2099

原创 基础算法（三）---二分排序（Java）

目前主流的二分排序是：折半插入排序

2017-06-12 15:23:12 1681

原创 基础算法（三）---选择排序（Java）

选择排序是一种简单直观的排序算法。工作原理： 首先在未拍序列中找到最小的元素，存放到排序序列的起始位置，然后在从剩下的元素中继续寻找最小的元素，放到排序序列末尾，以此类推，直到所有的元素均排序完毕

2017-06-12 09:56:32 515

原创 基础算法（三）---冒泡排序（Java）

创建一个冒泡排序类，实例中处理的是int型数据，可以根据需要进行替换

2017-06-12 09:24:50 614

原创 Hadoop实践（三）---MapReduce中的输入和输出

MapReduce中处理数据输入和输出的过程

2017-06-07 15:03:22 5161

原创 Linux---ssh配置免密码登录

SSH配置C/S免密码登录

2017-06-03 10:01:34 904

原创 Linux---awk使用指南

awk工具使用指南

2017-06-03 09:27:41 543

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除