云计算/大数据
hr787753

Hadoop读写原理和MapReduce执行原理

读流程 1.openfile 客户端 指定文件的读取路径 2.从namenode那里得到文件块的存储位置(元数据信息) 3.根据元数据信息 去指定的datanode上读文件。如果文件特别大,n...
9
u013424982

北京农商银行的云端 DevOps 之道

在北京,唯一一家金融服务覆盖全市所有 182 个乡镇的金融机构——北京农商银行。它是如何架构其开发测试与运维管理平台的呢?北京农商银行改制成立于 2005 年 10 月 19 日,是国务院批准组建的首...
22
qq_35703919

sparksql性能调优

sparksql性能调优 性能优化参数  在spark中,Spark SQL性能调优只要是通过下面的一些选项进行优化的: 1 spark.sql.codege...
7
u012562943 img

Kubernetes学习总结(2)——Kubernetes设计架构

Kubernetes集群包含有节点代理kubelet和Master组件(APIs, scheduler, etc),一切都基于分布式的存储系统。下面这张图是Kubernetes的架构图。Kuberne...
signmem

手动部署 ceph mon (luminous 版)

手动部署 ceph luminous 版本 mon 包含 创建 ceph.conf 配置文件 初始化 CEPH MON 启动 CEPH MON
11
Sibyl_zxl

LDA学习

非原创,转自:http://blog.csdn.net/a123456ei/article/details/22767429  保存学习  1、用途:    判断两个文档的关联程度...
9
u010786200

区块链究竟是什么鬼?看完漫画秒懂!

区块链究竟是什么鬼?看完漫画秒懂! 区块链技术是指一种全民参与记账的方式。所有的系统背后都有一个数据库,你可以把数据库看成是就是一个大账本。目前是...
8
u013424982

青云QingCloud 镜像仓库上线|最强 IaaS 驱动下的完整容器平台

1956 年 4 月 26 日,一架起重机把 58 个铝制卡车车厢装到了一艘停泊在港内的老油轮上,谁也不会想到,一场革命就这么开始。集装箱的诞生,让货物的运输成本大大降低,也让原本混乱的运输环境,变得...
38
qq_36864672

hive动态分区

实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入 实验步骤 1. 在本地文件/home/grid/a.txt中写入以下4行数据: aaa,...
26
u013424982

买一台 iPhone X,还是创建一家未来的独角兽?

11 月 3 号发售 iPhone X 已经很多天了,到现在青小云还没有决定好,到底选深空灰还是银色,作为新的手机屏保。面对逐年递涨的 iPhone 价格,低头看了看为了换 iPhone 6,留下的手...
25
antkillerfarm

机器学习(二十二)——推荐算法中的常用排序算法, Tri-training

机器学习(二十二)——推荐算法中的常用排序算法, Tri-training
11
u012460749

使用ssh在Docker容器间建立互信

使用ssh在容器间建立互信前提1 关闭防火墙sudo systemctl stop firewalld.service #停止firewall sudo systemctl disable...
9
Peter_Bell

R运行错误:Error: package or namespace load failed for ‘rJava’:

R语言中的JAVA环境
8
qq_34092336

sparkRDD常用算子

sparkRDD算子
12
panjiao119

特征选择方法之TF-IDF、DF

TF_IDF, DF都是通过简单的统计来选择特征,因此把它们放在一块介绍     1、TF-IDF     单词权重最为有效的实现方法就是TF*IDF, 它是由Salton在1988 ...
9
jx347638458

共有云和私有云的区别

私有云和公有云的显著差别在于对数据的掌控。只需一分钟,下面几张图就能让你看懂公有云和私有云的本质区别。   私有云和公有云的显著差别在于对数据的掌控。   采用公有云服务的企业必须将数据托...
19
lvwenyuan_1

hbase hbck -repair导致的rit问题

1.问题开始         前段时间作者做了个hbase hbck。做了个检查,发现有几个region出现了reference文件残留问题。具体报错信息如下,我只截取其中的一条错误: ERROR...
4
DL88250 img

IPFS 入门笔记

IPFS 是什么IPFS(InterPlanetary File System,星际文件系统)是永久的、去中心化保存和共享文件的方法,这是一种内容可寻址、版本化、点对点超媒体的分布式协议。
20
zhanglh046

hive 优化

一 Load数据 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]INTO TABLE tablename [PARTITION (partcol1=v...
11
zhanglh046

hive常见的DML操作

一 Load数据 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]INTO TABLE tablename [PARTITION (partcol1=v...
14
zhanglh046

hive常见的DDL操作

一  Create/Drop/Truncate table 1.1创建表 1管理表和外部表(略) 2存储格式(略) 3ROW FORMATS & Serde SerDe:是Serialize...
16
zhanglh046

hive之分区表详解

一 新建分区表 语法: PARTITIONEDBY (col type,col type......) 示例: CREATETABLE order (       oid STRING, ...
21
firstchange

zookeeper的工作原理与选举机制

目录:1、工作原理概述 2、Fast Leader选举算法(领导者选举) 3、Leader与Follower同步数据(原子广播) 工作原理概述简单的说一下zookeeper工作的过程,如果对这个过程还...
9
zhanglh046

严格模式&explain&FetchTask

一 严格模式 参数hive.mapred.mode=strict是hive的严格模式,严格模式下,是为了禁止用户做出某些查询,这些查询可能会带来不好的影响。严格模式下,一般来说,这儿有三种常见类型的...
18
zhanglh046

hive架构及使用场景

一 什么是Hive,它能解决什么问题? Hive是一个基于Hadoop的数据仓库平台。它通过HDFS进行存储,通过MapReduce执行查询计划,使用类SQL的查询语言HQL作为查询接口。 作用:...
37
zhanglh046

Hive文件数创建过多的问题

一 Hive的创建文件数的限制 Hive对文件创建的总数是有限制的,这个限制取决于参数: hive.exec.max.created.files,默认值是10000。如果现在你的表有60个分区,然...
15
firstchange

hive的操作及优化

hive hive案例1、基站掉线率统计 需求 统计出掉线率最高的前10基站 数据 record_time:通话时间 imei:基站编号...
8
qq_29480875

centos7 安装mpi环境

centos7 安装mpi环境实验目的:为5台主机搭建mpi平台,实现单机和分布式的多节点运行。实验步骤:0x01硬件条件:5台centos7主机,IP地址:x.x.x.46~50。机器的名称分别为l...
7
zhanglh046

Hive常见的存储格式文件比较

一 列式存储和行式存储 首先我们看一下一张表的存储格式 1.1 行式存储 1.2 列式存储 1.3列式存储和行式存储的比较 行式存储 优点: #相关的数据...
18
zhanglh046

Hive创建索引

Hive索引的目标就是为了提高表中确定的列的查询速度.没有索引,查询,类似于带有谓词WHEREcol=val这样的查询会加载整张表或者分区然后扫面所有行,如果在col这个列上我们建了索引,那么我们仅仅...
16

预告
img 进军Web前端工程师
讲师:曾亮老师

专家申请

img
邓绪佳

我是嘉仔

img
CSDN研发频道

CSDN研发频道,关注Web开发、Java、.NET、架构、数据库等技术领域。

img
郑浩

从事java开发已经四年的时间,从入行开始就坚持写博客,目前职位是java高级开发工程师,...

更多

官方博客

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部