CODE男孩的博客

你只是看起来很努力,,,,,

Redis-sentinel哨兵模式集群方案配置

最近研究了redis的集群方案,第一个方案是创建 redis cluster,第二种方案就是用哨兵模式来进行主从替换以及故障恢复。一、sentinel介绍Redis Sentinel Sentinel(哨兵)是用于监控redis集群中Master状态的工具,其已经被集成在redis2.4+的版本中...

2018-03-27 18:30:54

阅读数 262

评论数 0

安装RVM失败: public key not found

错误是这样的:[plain] view plain copy $ curl -L get.rvm.io | bash -s stable --ruby    % Total    % Received % Xferd  Average Speed   Time    Time     Time  ...

2018-03-27 11:33:09

阅读数 507

评论数 0

redis requires Ruby version >= 2.2.2问题

yum -y install ruby ruby-devel rubygems rpm-buildgem install redis其中 gem install redis命令执行时出现了: redis requires Ruby version >= 2.2.2的报错,查了...

2018-03-27 11:32:26

阅读数 443

评论数 0

Linux Redis集群搭建与简单使用

介绍安装环境与版本用两台虚拟机模拟6个节点,一台机器3个节点,创建出3 master、3 salve 环境。redis 采用 redis-3.2.4 版本。两台虚拟机都是 CentOS ,一台 CentOS6.5 (IP:192.168.31.245),一台 CentOS7(IP:192.168....

2018-03-27 11:31:28

阅读数 122

评论数 0

python pandas 中文件的读写——read_csv()读取文件

read_csv()读取文件1.python读取文件的几种方式read_csv 从文件,url,文件型对象中加载带分隔符的数据。默认分隔符为逗号read_table 从文件,url,文件型对象中加载带分隔符的数据。默认分隔符为制表符(“\t”)read_fwf 读取定宽列格式数据(也就是没有分隔符...

2018-03-19 10:53:48

阅读数 6446

评论数 0

调用Process.waitfor导致的进程挂起

问题背景如果要在Java中调用shell脚本时,可以使用Runtime.exec或ProcessBuilder.start。它们都会返回一个Process对象,通过这个Process可以对获取脚本执行的输出,然后在Java中进行相应处理。例如,下面的代码:[java] view plain cop...

2018-03-19 10:48:58

阅读数 140

评论数 0

hadoop2 作业执行过程之reduce过程

reduce阶段就是处理map的输出数据,大部分过程和map差不多 1 //ReduceTask.run方法开始和MapTask类似,包括initialize()初始化,根据情况看是否调用runJobCleanupTask(), 2 //runJobSetupTask(),runTask...

2018-03-14 10:57:03

阅读数 146

评论数 0

hadoop2 作业执行过程之map过程

在执行MAP任务之前,先了解一下它的容器和它容器的领导:container和nodemanagerNodeManagerNodeManager(NM)是YARN中每个节点上的代理,它管理Hadoop集群中的单个计算节点,包括与ResourceManager保持通信,监督Container的生命周期...

2018-03-14 10:56:23

阅读数 143

评论数 0

hadoop2 作业执行过程之作业提交

hadoop2.2.0、centos6.5hadoop任务的提交常用的两种,一种是测试常用的IDE远程提交,另一种就是生产上用的客户端命令行提交通用的任务程序提交步骤为:1.将程序打成jar包;2.将jar包上传到HDFS上;3.用命令行提交HDFS上的任务程序。跟着提交步骤从命令行提交开始最简单...

2018-03-14 10:48:00

阅读数 164

评论数 0

hadoop2 作业执行过程之yarn调度执行

YARN是hadoop系统上的资源统一管理平台,其主要作用是实现集群资源的统一管理和调度(目前还不完善,只支持粗粒度的CPU和内存的的调配);它的基本思想是将Mapreduce的jobtracker拆分成两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的Appl...

2018-03-14 10:46:23

阅读数 211

评论数 0

hadoop Yarn 编程API

客户端编程库: 所在jar包: org.apache.hadoop.yarn.client.YarnClient 使用方法: 1 定义一个YarnClient实例: private YarnClient client; 2 构造一个Yarn客户端句柄并初始化 this.client ...

2018-03-12 18:09:27

阅读数 1168

评论数 0

如何在yarn上运行Hello World(二)

在之前的一篇文章我们介绍了如何编写在yarn集群提交运行应用的AM的yarnClient端,现在我们来继续介绍如何编写在yarn集群控制应用app运行的核心模块 ApplicationMaster. 首先,介绍下我们要在yarn集群上运行的应用程序 HelloWorld. 这个应用很简单,就是一个...

2018-03-12 16:00:18

阅读数 176

评论数 0

如何在yarn上运行Hello World(一)

1.YARN是什么YARN  (Yet Another Resource Negotiator,另一种资源协调者) 是hadoop上的一种资源调度器,它是一个通用资源管理系统,可以为上层应用提供统一的资源管理和调度. 2.yarn的结构  YARN的结构是一个典型的主从结构(MASTER/SLAV...

2018-03-12 15:57:31

阅读数 194

评论数 0

R语言学习(转)

参考:W.N. Venables, D.M. Smith and the R DCT: Introduction to R -- Notes on R: A Programming Environment for Data Analysis and Graphics, 2003. http://b...

2018-03-06 14:45:13

阅读数 116

评论数 0

R语言学习小记

https://www.w3cschool.cn/r/r_overview.htmlR语言是用于统计分析,图形表示和报告的编程语言和软件环境。 R语言由Ross Ihaka和Robert Gentleman在新西兰奥克兰大学创建,目前由R语言开发核心团队开发。R语言的核心是解释计算机语言,其允许分...

2018-03-06 14:43:35

阅读数 326

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭