云计算
spencernao

Hadoop Yarn调度器的选择和使用

Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。
8
claroja

Pandas 对象储存

In [1]: import pandas as pd ...: a1=[1,2,3] ...: a2=[[1,2,3]] ...: b=1DataFrame讲b的值复制了3遍,使得...
7
claroja

Spyder

Spyder在导入工程的时候,将工程的路径作为了console的工作路径。暂时没有找到将制定脚本的路径设为工作路径的方法,可以尝试更改当前的工作路径os.chdir(”) 也可以讲模块作为工程,这样...
9
silentwolfyh img

HDFS常用命令

选项名称 使用格式 含义 -ls -ls 查看指定路径的当前目录结构 -lsr -lsr ...
18
U201017971

YAML+jinja语法

编写的.sls文件主要使用YAML语法结构,主要包含三点: a)  空格 使用2个空格表示数据层级。 b)  冒号 使用冒号表示K-V数据结构(Python里叫dict)。 例如Ke...
8
solopy

互联网+业务转型,云计算厂商对比

作为一个传统金融商,在互联网+的旋风下,转型互联网金融行业,准备拿起云计算工具,一心抵抗外部同行业竞争,金融人精于投入产出计算,专业的人做专业的事!然而,在朋友建议使用阿里云仅凭其先发优势来说服我时,...
16
wangmingzitu

hadoop源码解析(草稿)

具备技能 分布式系统知识 对分布式系统的网络通信模块,调度模块 需要不断补充java相关知识(比如RPC,NIO,设计模式等) 具体步骤第一个阶段:学习hadoop基本使用和基本原理,从应用角度对ha...
13
tianbaochao

基于cdh570的phoenix编译

一。背景近日重构产品的监控告警系统,原来是基于hbase实现,做的比较粗糙,无法实现数据聚合等功能,遂决定重构。 原来基于hbase实现,所有的读取代码也都是用的原生hbase api获取,除了冗余...
95
wangmingzitu

综合构想

初步架构图,资源统一调度。
20
demonwang1025

Zeppelin下GroovyInterpreter的配置

GroovyInterpreter
21
oppo5630

Docker学习笔记(一) 简介

Docker学习笔记(一) 简介写在前面学习Docker已经有大半年了,前段时间一直因为工作忙得不可开交,清闲下来之后还是决定继续撸博客,记录下自己学习的过程,同时也给猿友们一些参考,写得不对的地方,...
16
san1156

Docker使用示例1--使用Docker创建Web服务

1,目的在已经掌握docker安装、docker仓库的基本使用、docker镜像和容器的基本操作和相互转化的基础上,可尝试通过docker搭建一个web服务器,便于分布式部署或快速移植web服务器。 ...
17
zhonglinzhang

【docker基础知识】docker基础概念

1. docker 分层概念      linux 操作系统由内核空间和用户空间组成。        内核空间:kernel,Linux 刚启动时会加载 bootfs 文件系统,之后 b...
27
SunnyYoona img

[Scala]Scala学习笔记三 Map与Tuple

1. 构造映射可以使用如下命令构造一个映射:scala> val scores = Map("Alice" -> 90, "Kim" -> 89, "Bob"-> 98) scores: scala....
19
claroja

Linux git

安装apt install git建立仓库首先创建仓库文件夹,进入文件夹之后输入: git init 当然你也可以克隆其他人的仓库: 本地克隆:git clone /path/repositor...
14
qq_20641565

spark的自定义partitioner

在hadoop的mapreduce中默认patitioner是HashPartitioner,我们可以自定义Partitioner可以有效防止数据倾斜, 在Spark里面也是一样,在Spark里也是默...
25
RancherLabs

VMware Harbor现已加入Rancher社区Catalog

VMware Harbor现已加入Rancher社区Catalog
15
RancherLabs

块存储、对象存储和文件系统: 它们对容器而言意味着什么?

容器本身采用的是非持久化存储。想要实现持久化存储,第一步是要确定使用哪种存储系统的基础类型。文件系统存储、块存储和对象存储,这三者如何选择?
17
ZZqiudai

Azure Stack深入浅出4: Azure Stack自定义虚拟机镜像和Gallery Item

Azure Stack环境中服务的提供者或运营者从微软变成了Azure Stack集成环境的运营者,通过Azure Stack的MarketPlace,我们可以根据用户的特定需求,提供一些定制化的应用...
28
rj08zhou

CentOS7.3下安装Cloudera Manager5.11.1

CentOS7.3下安装Cloudera Manager5.11.1 概述 准备条件 系统环境配置 安装Java 安装MySQL 安装CM CM配置 Q&A 参考 概述最近公司需要研究大数据方向的内容...
23
Belug

Cinder学习--关于存储的相关概念

存储相关概念SCSISmall Computer System Interface,小型计算机系统接口。 SCSI接口可以同步或异步传输数据,同步传输速率可以达到10MB/s,异步传输速率可以达到1...
13
ZZqiudai

Azure Stack深入浅出3: Azure Stack运维工具Azure Stack Tools的使用及实战

Azure Stack Tools 是在 GitHub 上维护的一套 Azure Stack 工具集,由微软 Azure Stack 团队为系统开发者和运维者提供的一款基于 Azure Resourc...
23
ZZqiudai

Azure Stack深入浅出2:Azure Stack与Azure的有QoS保证的网络联通实现方法和对比测试

本篇文章作为上海仪电Azure Stack技术系列的第二篇,将描述我们目前在构建基于Azure Stack混合云业务解决方案方面所面临的网络连通困难,以及相关技术人员为解决这一问题所做出的努力及技术探...
32
ZZqiudai

Azure Stack深入浅出1:谈Azure Stack在私有云/混合云生态中的定位

作为AzureStack深入浅出系列的第一篇文章,将从技术功能和业务场景两个维度来分析Azure Stack在私有云/混合云生态中扮演什么样的角色。同时与主流的开源私有云平台OpenStack进行了简...
44
u014033218

完全分布式安装Hadoop,Hive,Hbase,Hwi,Zookeeper

完全分布式安装Hadoop,Hive,Hbase,Hwi,Zookeeper 其他部分见: HDFS YARN zookeeper HBASE HIVE HIVE hwi的启动 HDFS和HBA...
21
fuwenyan

腾讯开源ncnn:示例程序运行

本博记录为卤煮使用时的记录,属于事后回忆记录,如有疏漏,请指正。 卤煮:非文艺小燕儿 本博地址:ncnn:示例程序运行 感谢开源共享的各位大牛们,让我们能够站在巨人的肩膀上前行。 ncnn g...
48
u010521366

OpenStack组件Swift单机搭建

转载自:https://yq.aliyun.com/articles/65321   我只是记录一下 OpenStack组件Swift单机搭建(基于Keystone) ...
16
erygreat

hadoop2.x入门:在windows上用Eclipse编写程序

虽然有许多人推崇vim编程,但是本人并不习惯vim编程,本人还是比较在window下使用eclipse编程。另外由于本人linux安装的都是最小化安装,没有图形界面,因此使用windows的eclip...
3
llxx1234

openstack的虚拟机网卡、网桥等(tap、qbr、qvb、qvo)mtu设置

转自:http://www.ithao123.cn/content-8233427.html vim /usr/lib/python2.7/site-packages...
20
CloudMan6

创建 Machine - 每天5分钟玩转 Docker 容器技术(46)

本节演示如何一步步创建 Docker Machine。
41

预告
img 深度学习30天系统实训
讲师:唐宇迪

专家申请

img
张天明

懂一点机器学习的架构师

img
谭振兴

优秀的判断力来自于经验,但经验来自于错误的判断。在看着别人走过的路时,思考怎么走自己的路。...

img
王硕

长期关注Android多媒体,直播,音视频编解码,图形视觉(AR/VR)领域,希望结识更多...

更多

官方博客

img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部