- 博客(18)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 Spark性能优化指南——基础篇
http://mp.weixin.qq.com/s?__biz=MjM5NDMwNjMzNA==&mid=2651805828&idx=1&sn=2f413828d1fdc6a64bdbb25c51508dfc&scene=2&srcid=0519iChOETxAx0OeGoHnm7Xk&from=timeline&isappinstalled=0#rd Spark性能优化指南——基础篇
2017-08-23 15:10:50
274
原创 为自己的人生负责
今天，看来一篇文章，很受用，年轻人应该必须知道四个关键词：1： 目标和梦想------------你想成为一个什么样的人？？？2： 原则-----------如何利用所有的工作和生活，让你成为你想成为的人？？？？如何制定一个原则，让你成长的更快？？？3：学习----------如何通过学习来提升你自己各个方面的能力？？？4：行动---------如何通过行动来提升自己的认知？？？如
2017-08-19 15:32:13
346
转载 为自己定的目标
原文URL：http://blog.csdn.net/wangzhiqing3/article/details/12320553对程序员们来说挑战自我非常重要，要么不断创新，要么技术停滞不前。新年伊始，我整理了12个月的目标，每个目标都是对技术或个人能力的挑战，而且可以年复一年循环使用。01. 变得有耐心02. 保持健康03. 拥抱变化带来的不适应04.
2017-08-19 15:25:14
461
转载 Python中模块和包的概念
Python中模块和包的概念Table of Contents1 模块（Module)和包（Package)1.1 命名空间（Namespace)1.2 模块（Module)1.3 包(Package)1 模块（Module)和包（Package)1.1 命名空间（Namespace)由于在Python中一切皆为对象（Obje
2017-08-14 22:21:00
485
转载 Apache Spark 内存管理详解
Apache Spark 内存管理详解Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者
2017-08-11 17:47:45
672
转载 HDFS原理解析（总体架构，读写操作流程）
前言HDFS 是一个能够面向大规模数据使用的，可进行扩展的文件存储与传递系统。是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和 存储空间。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。即使系统中有某些节点脱机，整体来说系统仍然可以持续运作 而不会有数据损失。一、HDFS体系结构1、Na
2017-08-11 13:17:27
483
转载 mapreduce出现类似死锁情况
MR-------------Error------------------Reducer preempted to make room for pending map attempts Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container e
2017-08-11 09:55:54
3017
转载 Kafka 设计与原理详解
一、Kafka简介本文综合了我之前写的kafka相关文章，可作为一个全面了解学习kafka的培训学习资料。转载请注明出处 : 本文链接1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模
2017-08-10 22:02:23
453
转载 Java GC基本算法
Java GC基本算法1、JVM内存组成结构JVM内存结构由堆、栈、本地方法栈、方法区等部分组成，结构图如下所示：1)堆所有通过new创建的对象的内存都在堆中分配，其大小可以通过-Xmx和-Xms来控制。堆被划分为新生代和旧生代，新生代又被进一步划分为Eden和Survivor区，Survivor由FromSpace和ToSpace组成，结构图如下所示：新生代。新建的对象都是用新生代分配内存，Ed...
2017-08-10 16:16:59
281
原创 Reduce运行到99.99%到100%，最后出现了错误，导致任务失败
Error: java.io.IOException: Failing write. Tried pipeline recovery 5 times without success. at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.processDatanodeError(DFSOutputStream.java:1113) a
2017-08-04 07:56:51
4501
1
转载 JVM堆内存相关的启动参数：年轻代、老年代和永久代的内存分配
如果想观察JVM进程占用的堆内存，可以通过命令工具jmap或者可视化工具jvisualvm.exe。JVM这些启动参数都拥有默认值，如果想了解JVM的内存分配策略，最好手动设置这些启动参数。再通过JDK提供的工具的统计结果，进行对比，就比较容易理解这些内存分配的理论知识。运行环境是win7 32位操作系统，JDK1.7.0_60版本。测试代码和JVM启动参数如下：[java
2017-08-03 16:03:27
447
原创 Hadoop集群磁盘IO 高 却一直不下降问题
Hadoop集群磁盘IO非常高问题描述如图：原因很多：1：停止应用程序2：停止服务3：监控linux系统 ，检测磁盘
2017-08-03 13:18:29
2460
2
转载 Linux下查看进程打开的文件句柄数
Linux下查看进程打开的文件句柄数---查看系统默认的最大文件句柄数，系统默认是1024# ulimit -n1024 ----查看当前进程打开了多少句柄数# lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more131 24204 57 24244 57 24231 ........其中第一列
2017-08-03 10:41:07
459
原创 MapReduce运行任务报错
MapReduce运行任务报错如下：Error: java.io.IOException: Failing write. Tried pipeline recovery 5 times without success. at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.processDatanodeError(DF
2017-08-03 10:37:23
4714
转载 Java线程池ThreadPoolExecutor使用和分析
Java线程池ThreadPoolExecutor使用和分析(一)http://www.cnblogs.com/trust-freedom/p/6594270.htmlJava线程池ThreadPoolExecutor使用和分析(二) - execute()原理http://www.cnblogs.com/trust-freedom/p/6681948.html
2017-08-02 13:53:13
258
转载 Linux 下chmod 和 chown 以及 chgrp和用法和区别
1、chgrp(转变文件所属用户组)chgrp 用户组 文件名 ###便是这个格了。若是整个目次下的都改，则加-R参数用于递归。如：chgrp -R user smb.conf2、chown(转变文件拥有者)格局： A：chown 用户名 文件/目次B：chown 用户名：用户组 文件/目次若是整个目次下的都改，则加-R参数用于递
2017-08-02 09:32:00
603
转载 查看Spark进程的JVM配置及内存使用
查看Spark进程的JVM配置及内存使用如何查看正在运行的Spark进程的JVM配置以及分代的内存使用情况，是线上运行作业常用的监控手段：1、通过ps命令查询PID[plain] view plain copyps -ef | grep 5661 可以根据命令中的特殊字符来定位pid
2017-08-01 12:02:17
2692
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人