常见知识点

账户无密切换:https://jingyan.baidu.com/article/a17d5285268e958099c8f257.html

2017-08-04 23:13:44

阅读数:210

评论数:0

编译安装Ambari

1.2 需要安装的工具 1.2.1     安装JDK 输入命令 [root@bigData-02 ~]# Java –version java version "1.7.0_51" Java(TM) SE Runtime Environment (b...

2017-02-06 14:00:26

阅读数:242

评论数:0

自定义protobuf编解码器

Protobuf3 + Netty4: 在socket上传输多种类型的protobuf数据 Protobuf序列化的字节流数据是不能自描述的,当我们通过socket把数据发送到Client时,Client必须知道发送的是什么类型的数据,才能正确的反序列化它。这严重影响限制了C/S...

2016-08-08 19:08:06

阅读数:3231

评论数:0

YARN ResourceManager调度器的分析

YARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器,探讨三种调度器的设计侧重,最后给出一些配置建议和参数解释。 本文分析基于CDH4.2.1。调度器这个部分目前还在快速变化之中。例如,CPU资源分配等特性在不就的将来就会加入。 为了方便查...

2016-07-15 14:57:54

阅读数:911

评论数:0

Hadoop系列(5)之容量调度器Capacity Scheduler配置

1. 应用场景 本文只关注配置,关于调度器的算法以及核心内容将在下一篇介绍。 Capacity Scheduler是YARN中默认的资源调度器,但是在默认情况下只有root.default 一个queue。而当不同用户提交任务时,任务都会在这个队里里面按优先级先进先出,大大影响了多用户的资源...

2016-07-15 14:55:45

阅读数:4056

评论数:0

ZooKeeper-3.3.4集群安装配置

ZooKeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度...

2016-06-14 14:11:40

阅读数:510

评论数:0

Linux下which、whereis、locate、find 命令的区别

我们经常在linux要查找某个文件,但不知道放在哪里了,可以使用下面的一些命令来搜索。这些是从网上找到的资料,因为有时很长时间不会用到,当要用的时候经常弄混了,所以放到这里方便使用。  which       查看可执行文件的位置  whereis    查看文件的位置  locate   ...

2016-02-19 10:28:06

阅读数:309

评论数:0

spark yarn-client和yarn-cluster

大数据系列零基础由入门到实战视频 问题导读 1.Spark在YARN中有几种模式? 2.Yarn Cluster模式,Driver程序在YARN中运行,应用的运行结果在什么地方可以查看? 3.由client向ResourceManager提交请求...

2016-01-25 09:56:21

阅读数:2545

评论数:0

sbt环境搭建

在公司网络中使用 sbt 、 Maven 等项目构建工具时,我们通常会搭建一个公用的Nexus 镜像服务,原因有以下几个: 避免重复下载依赖,节省公司带宽;国内网络环境不理想,下载速度慢;IDC服务器没有外网访问权限;用于发布内部模块。 sbt的依赖管理是基于 ivy 的,虽然它能直接...

2016-01-05 10:07:55

阅读数:833

评论数:0

NameNode和SecondaryName

前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为,Secondary NameNode是NameNode的备份,是为了防止NameNode的单点失败的,直到读了这篇文章Secondary Namenode - ...

2015-12-15 17:30:26

阅读数:1304

评论数:0

scala None null Nil的说明

在scala中这四个类型名称很类似,作用确实完全不同的。  None是一个object,是Option的子类型,定义如下  [java] view plaincopyprint? case object None extends Option[No...

2015-12-02 21:38:48

阅读数:566

评论数:0

git tag的用法

git tag — 标签相关操作 列出标签 $ git tag # 在控制台打印出当前仓库的所有标签 $ git tag -l ‘v0.1.*’ # 搜索符合模式的标签 打标签 git标签分为两种类型:轻量标签和附注标签。轻量标签是指向提交对象的引用,附注标签...

2015-11-16 20:02:31

阅读数:447

评论数:0

使用ssh private key 免密码登陆服务器的流程(Amazon 的EMR 采用了此方式登陆服务器)

第一步: 在服务器上 执行该命令 ssh-keygen -t ras -C ""  ,会在服务器上生成 id_rsa 和 id_rsa.pub 两个文件。 第二步:将id_rsa.pub 文件的内容 拷贝到   authorized_keys 这个文件,如果没有 author...

2015-11-11 12:06:03

阅读数:901

评论数:0

scala+play2.2.2+slick2.0.2 + mysql5.0整合之一基础环境搭建篇

scala+play2.2.2+slick2.0.2 + mysql5.0整合之一基础环境搭建篇   因为博主也没有折腾过play,slick这些玩意,这周的时候想折腾这么一套开发环境,于是就折腾了一番,终于还是成功了,于是把整个步骤都贴出来,与大家分享,期间踩过的坑,直接跳过。 ...

2015-10-13 21:32:57

阅读数:407

评论数:0

Python 中的进程、线程、协程、同步、异步、回调

进程和线程究竟是什么东西?传统网络服务模型是如何工作的?协程和线程的关系和区别有哪些?IO过程在什么时间发生? 在刚刚结束的 PyCon2014 上海站,来自七牛云存储的 Python 高级工程师许智翔带来了关于 Python 的分享《Python中的进程、线程、协程、同步、异步、回调》。 ...

2015-08-10 13:17:13

阅读数:622

评论数:0

python 协程示例

协程,又称微线程,纤程。英文名Coroutine。 协程的概念很早就提出来了,但直到最近几年才在某些语言(如Lua)中得到广泛应用。 子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕。 所以子...

2015-08-10 12:54:20

阅读数:382

评论数:0

python yield和send

包含yield表达式的函数是特殊的函数,叫做生成器函数(generator function),被调用时将返回一个迭代器(iterator),调用时可以使用next或send(msg)。它的用法与return相似,区别在于它会记住上次迭代的状态,继续执行。  send(msg)与next()的区...

2015-08-10 12:53:05

阅读数:4053

评论数:0

Spring MVC之@RequestParam @RequestBody @RequestHeader 等详解

引言: 接上一篇文章,对@RequestMapping进行地址映射讲解之后,该篇主要讲解request 数据到handler method 参数数据的绑定所用到的注解和什么情形下使用; 简介: handler method 参数绑定常用的注解,我们根据他们处理的Req...

2015-06-30 15:36:33

阅读数:623

评论数:0

NoSQL 数据库产品学习总结(一)

NoSQL 数据库产品学习总结(一) 本篇文章共分为四个章节,会陆续整理下 Memcached、Redis、tair、mongodb、hbase、SequoiaDB、 Cassandra的相关知识。 本文为第一个章节,先简介下memcached、reids,有理解不到位的地方,请不吝赐教。 M...

2015-06-27 17:46:53

阅读数:922

评论数:0

使用Intell IDEA Debug jetty web应用

以下适合于使用maven管理的web工程,运行在jetty容器下: 1.添加jetty的maven插件 [html] view plaincopyprint? plugin>      groupId>org.mortbay.jett...

2015-06-26 10:31:42

阅读数:2105

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭