云计算/大数据
lsj960922

流计算基本认识

在传统的数据处理流程中,总是先收集数据,然后将数据放到DB中。当人们需要的时候通过DB对数据做query,得到答案或进行相关的处理。这样看起来虽然非常合理,但是结果却非常的紧凑和,尤其是在一些实时搜索...
27
lsj960922

阿里云流计算认识

简介: 阿里云流计算(Alibaba Cloud StreamCompute)是运行在阿里云平台上的流式大数据分析平台,提供给用户在云上进行流式数据实时化分析工具。 阿里云流计...
24
xx1710

python3 使用thrift操作hbase报错已经解决

使用python来做平台操作hbase 安装 thrift 与 hbase-thrift的库 运行代码报了如下报错的问题 Traceback (most recent call last): Fi...
190
xiaoqiu_cr

Scala--循环

1、for循环 //to [] 闭区间 //for ( x<- 1 to 10) println(x); //until [)左闭右开区间 for(x<- 1 until...
10
kaaosidao

Spark性能相关参数配置及原理

转自:http://blog.csdn.net/ZYC88888/article/details/78531462 Spark性能相关参数配置¶ http://spark-conf...
30
qq_24365213

Hue上的Oozie如何构建工作流和定时任务

Oozie是什么? Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tomcat——中,并使用数据库来存储以下内容: 工作流定义当前运行的工作流实例,包...
10
zangdalei

使用 Azure CLI 创建和管理 Linux VM

Azure 虚拟机提供完全可配置的灵活计算环境。 本教程介绍 Azure 虚拟机的基本部署项目,例如选择 VM 大小、选择 VM 映像和部署 VM。 你将学习如何执行以下操作: 创建并连接到...
12
mrb1289798400

sftp上传文件到linux服务器上(ssh验证)

需求: 以前,手动上传配置文件到服务器,然后手工复制到另外一台服务器上,然后登陆SSH Secure File Transfer Client客户端,执行相关shell命令号 现在这些操作需要一键...
257
yixiaoqi2010

sparksql 从oracle读取数据然后整合到elasticsearch

pom.xm xml version="1.0" encoding="UTF-8"?> xmlns="http://maven.apache.org/POM/4.0.0" xm...
26
zangdalei

使用 PowerShell 创建 Linux 虚拟机

Azure PowerShell 模块用于从 PowerShell 命令行或脚本创建和管理 Azure 资源。 本指南详细介绍了如何使用 Azure PowerShell 模块部署运行 Ubuntu ...
58
u013019431

hadoop作业的几种提交方式

前言: 提交hadoop作业时我们遇到了许多的问题,在网上也查过许多的文章,有许多对hadoop提交作业原理进行分析的文章,却总看不到对具体操作过程讲解的文章,导致我们在eclipse提交的作业总是在...
57
weihua0722

一步一步学会sqoop.split-by及数据倾斜

sqoop split-by 数据倾斜 一步一步学会sqoop
53
jiede1

centos6.5离线安装gcc gcc++ rpm

下载下面rpm包:http://vault.centos.org/6.5/os/x86_64/Packages/依次安装: rpm -Uvh kernel-headers-2.6.32-431.el...
15
u012679583

蚁群算法

1.蚁群算法定义 又称蚂蚁算法,是一种用来在图中寻找优化路径的机率型算法。它由Marco Dorigo于1992年在他的博士论文中提出,其灵感来源于蚂蚁在寻找食物过程中发现路径的行为。蚁群算法是一种...
21
Dante_003

elasticsearch详解(二)——初识es

基本概念 es里面有很多核心概念,从一开始了解这些概念会更有助于了解es。 准实时(NRT,near realtime) es是一个准实时的搜索平台,这就意味当你存一条数据进去到可以搜索到中间有...
Dante_003

elasticsearch详解(一)——es是什么、能做什么?

es是什么 elasticsearch简写es,es是一个高扩展、开源的全文检索和分析引擎,它可以准实时地快速存储、搜索、分析海量的数据。 什么是全文检索 全文检索是指计算机索引程序通过扫描文章...
wzw12315

深刻理解HDFS工作机制

深刻理解HDFS工作机制   深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解...
21
leceall

如何使用美团云GPU云主机

如何使用美团云主机?
22
lendq

Java实现大数据简单运算

Java BigInteger BigDecimal 大数据处理 自己实现 能加(减)乘(除) 数据大小无限
15
weinierzui

hbase filter及rowkey范围检索使用并对结果集处理

hbase新API操作hbase过滤器之后对结果集进行处理生成spark临时表用于后续处理。 注意hbase中,表中存储的数据类型必须一一对应,否则会因为解码问题,导致最后结果非常的混乱 代码...
246
leceall

美团云深度学习平台-快速开始

美团云深度平台--快速开始
26
sokril

持续集成/发布-自动部署

参考文章:The Product Managers' Guide to Continuous Delivery and DevOps 持续集成:软件推到代码仓库后,自动构建单元测试代码;根据测试结果,...
9
ShiYiloo_

扎尔伯格定律——??

扎尔伯格定律
47
u013148156

Celery-4.1 用户指南: Task

任务是构建 celery 应用的基础块。 任务是可以在任何除可调用对象外的地方创建的一个类。它扮演着双重角色,它定义了一个任务被调用时会发生什么(发送一个消息),以及一个工作单元获取到消息之后将会做...
33
a822631129

Lucene评分规则机制

最近部门把公司的搜索业务接过来了,搜索使用的solr,需要研究下solr的评分机制,solr评分规则引用的是Lucene,简单整理了下Lucene评分规则,如下。 1      简介 Lucene...
23
LC900730

Hadoop概念

Jobconf对象指定了作业的各种参数。它授予我们对整个作业如何运行对控制权。当我们在Hadoop集群上运行这个作业时,我们将代码打包成JAR文件(Hadoop会在集群中分发这个包)。我们没有明确指定...
3
LC900730

storm初识

storm集群搭建 storm核心组件 storm编程模型 storm task并发度 storm 消息容错 storm 通信机制 storm 与zk交互 strom 流式计算的一般架构...
17
q123_xi

OpenStack各组件逻辑关系、通信部署关系及工作流程学习笔记2017-11-16

学习目标: 了解 OpenStack 各组件的逻辑关系;了解 OpenStack 的各组件的通信和部署关系;了解 OpenStack 的工作流程; 接下来我会掌握: OpenStack 组件间的逻...
90
zhaoxiangchong

hive中的分析函数以及时间戳的使用

hive分析函数
9
weixin_37310177

如何获得select被选中option的值

一:JavaScript原生的方法 1:拿到select对象: var myselect=document.getElementById(“test”); 2:拿到选中项的索引:var i...
25

预告
img 进军Web前端工程师
讲师:曾亮老师

专家申请

img
邓绪佳

我是嘉仔

img
CSDN研发频道

CSDN研发频道,关注Web开发、Java、.NET、架构、数据库等技术领域。

img
郑浩

从事java开发已经四年的时间,从入行开始就坚持写博客,目前职位是java高级开发工程师,...

更多

日榜

官方博客

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部