节至

任何一个傻瓜都可以写出机器可以运行的代码,只有写出人能看懂的代码才是优秀的程序员!...

排序:
默认
按更新时间
按访问量

HDFS回顾(二)——命令详解

对hdfs中的操作命令进行详细描述

2018-08-19 10:31:02

阅读数:6

评论数:0

HDFS回顾(一)——概念以及执行流程

本文对HDFS的概念进行详细介绍,以及针对HDFS分布式的特性,对文件系统中的读/写执行流程进行了分析。

2018-08-19 10:29:27

阅读数:5

评论数:0

CentOS6安装MySQL8.0

最近搭建了一个mysql的服务器,采用最新的mysql版本,安装过程中还是遇到了问题,现对其搭建过程进行记录。 一.环境   CentOS6.8 64位 MySQL8.0.11 最小化安装 二.准备工作 1、源码安装过程 1.安装依赖 yum -y i...

2018-08-16 13:53:44

阅读数:14

评论数:0

YARN回顾(七)——Spark在YARN上的运行模式

Spark On Yarn 在YARN上启动Spark应用有两种模式。在cluster模式下,Spark驱动器(driver)在YARN Application Master中运行(运行于集群中),因此客户端可以在Spark应用启动之后关闭退出。而client模式下,Spark驱动器在客户端进程...

2018-08-14 18:41:24

阅读数:9

评论数:0

YARN回顾(六)——调度器

在Yarn中有三种调度器可以选择:FIFO Scheduler ,Capacity Scheduler,Fair Scheduler。 FIFO Scheduler FIFO Scheduler把应用按提交的顺序排成一个队列,这是一个先进先出队列,在进行资源分配的时候,先给队列中最头上的应用...

2018-08-14 18:24:11

阅读数:8

评论数:0

YARN回顾(五)——通信协议

一、YARN通信协议 YARN通信协议,RPC协议是连接各个组件的“大动脉”,了解不同组件之间的RPC协议有助于我们更深入地学习YARN框架。在YARN中,任何两个需相互通信的组件之间仅有一个RPC协议,而对于任何一个RPC协议,通信双方有一端是Client,另一端为Server,且Client...

2018-08-14 17:04:16

阅读数:53

评论数:0

YARN回顾(四)——CPU资源隔离

yarn默认只管理内存资源,虽然也可以申请cpu资源,但是在没有cpu资源隔离的情况下效果并不是太好.在集群规模大,任务多时资源竞争的问题尤为严重,还好yarn提供的LinuxContainerExecutor可以通过cgroup来隔离cpu资源。 一、cgroup cgroup是系统提供...

2018-08-14 16:24:25

阅读数:48

评论数:0

YARN回顾(三)——资源管理、配置

一、YARN的资源管理 1、资源调度和隔离是yarn作为一个资源管理系统,最重要且最基础的两个功能。资源调度由resourcemanager完成,而资源隔离由各个nodemanager实现。 2、Resourcemanager将某个nodemanager上资源分配给任务(这就是所谓的“资源调度...

2018-08-14 15:44:51

阅读数:51

评论数:0

YARN回顾(二)——作业执行流程

一、YARN的执行流程 YARN最为主流的集群管理平台,现已成为大数据处理的平台的主流管理框架,包括storm、Hadoop、spark等都支持,而运行在YARN上的应用程序主要分为两类:短应用程序和长应用程序,其中,短应用程序是指一定时间内(可能是秒级、分钟级或小时级,尽管天级别或者更长时间的...

2018-08-14 15:23:08

阅读数:47

评论数:0

YARN回顾(一)——相关概念

一、YARN基本服务组件 ​ YARN全称yet another resources negotiator,是Hadoop 2.0中的资源管理系统,它的基本设计思想是由于MapReduce v1中的JobTracker管理的事情太多,负载太重,所以将其拆分成了两个独立的服务:一...

2018-08-14 14:52:48

阅读数:51

评论数:0

mongodb错误记录

1.问题描述 今天在使用MongoDB进行数据插入的时候,出现插入不成功的情况,显示出的异常如下所示: Interrupted acquiring a permit to retrieve an item from the pool in MongDB com.mongodb.Mongo...

2018-08-10 11:30:52

阅读数:32

评论数:0

postgres的时间转换

天下苦postgres时间转换久已! 最近在操作数据库时,遇到频繁的时间操作,每次弄完了就忘了,今天痛定思痛,下定决心(终于自己也受不了自己的lazy了)对postgres的时间操作进行一下总结。本文竟可能详尽的记录postgres中涉及到date、timestamp以及和字符串之间的转换进行说...

2018-08-09 18:23:51

阅读数:34

评论数:0

AutoValue使用那点事

AutoValue是Google几个工程师写的一个小的java实体类生成工具,可以让你拜托繁琐而且容易出错的字段判断,下面对这个工具进行如下说明,maven的配置信息,依赖包导入: <dependency> ...

2018-08-07 19:23:15

阅读数:24

评论数:0

设计模式(1)——概述

本系列将对23中设计模式进行详细说明,本片博客为绪论,旨在说明是什么和有什么两个问题。 1、概念 引用《设计模式-可复用的面相对像设计》对设计模式的定义如下: Christopher Alexander 说过: “每一个设计模式描述了一个在我们周围不断重复发生的问题,以及该问题...

2018-08-03 17:36:37

阅读数:20

评论数:0

linux下包管理工具

包管理介绍 大多数现代的类 Unix 操作系统都提供了一种中心化的机制用来搜索和安装软件。软件通常都是存放在存储库中,并通过包的形式进行分发。处理包的工作被称为包管理。包提供了操作系统的基本组件,以及共享的库、应用程序、服务和文档。 包管理系统除了安装软件外,它还提供了工具来更新已经安装的包。...

2018-07-26 21:46:21

阅读数:34

评论数:0

linux修改时间、时区

前段时间公司安装集群,遇见了统一时间的问题,特此记录一下 1、date 查看系统时间 date 设置系统时间 date --set “07/07/06 10:19" (月/日/年 时:分:秒) 将当前时间和日期写入BIOS,避免重启后失效 命令 ...

2018-07-24 10:55:17

阅读数:15

评论数:0

hadoop日常问题记录(1)

今天在操作HDFS的时候,碰到如下问题: HDFS采用的异构的方式,新增服务器的磁盘数量和大小与原集群中的磁盘数量和大小是不一样的,一般在集群扩展的过程中都会出现这个问题,不过Hadoop支持这种异构的方式,回去查看问题原因的时候,发现是在配置文件中挂载磁盘的目录最后一个没有分清楚, and...

2018-07-23 20:27:07

阅读数:20

评论数:0

postgres存储过程实践

postgres存储过程 根据项目需要,用SQL写了一个postgres的存储过程,记录如下。 CREATE OR REPLACE FUNCTION GoodsInquiryCondition ( sCountry VARCHAR, sPort VARCHAR, cClass CHAR, ...

2018-07-12 11:04:09

阅读数:75

评论数:0

scala(2)——类

scala中的基础类和java中类基本相同,除此之外,scala中还定义了自己的case类,在某些特殊场景下,case类能够极大的简化程序代码以及程序结构,相比于java,scala有自己更加灵活的操作,下面是在复习scala的过程中做的笔记,Mark一些自己的进度。 有什么不足之处还欢迎大...

2018-07-01 22:02:42

阅读数:17

评论数:1

linux安装Rserve

前言项目中涉及到模型的使用,需要在java程序中调用R服务代码,我们采用的方式在服务器上搭建一个Rserve服务器,现就其搭建步骤记录如下。1系统信息本次安装使用系统环境是CentOS6.8,提前安装编译R需要的gcc等系统软件,如果是离线环境下,安装包可以直接通过挂载系统镜像来进行安装,安装好j...

2018-06-19 14:20:35

阅读数:30

评论数:1

提示
确定要删除当前文章?
取消 删除
关闭
关闭