云计算/大数据
qq_26442553

为什么要使用分布式存储和分布式计算?

在这个数据爆炸的时代,产生的数据量不断地在攀升,从Gb,Tb,Pb,Zb.挖掘其中数据的价值也是企业在不断地追求的终极目标。但是要想对海量的数据
111
qq_36864672

PageRank算法简介及Map-Reduce实现

PageRank对网页排名的算法,曾是Google发家致富的法宝。以前虽然有实验过,但理解还是不透彻,这几天又看了一下,这里总结一下PageRank算法的基本原理。 一、什么是pagerank ...
64
Jwast

docker for Windows --安装篇

1.windows按照docker的基本要求 (1)64位操作系统,win7或者更高  (2)支持“ Hardware Virtualization Technology”,并且,“virtu...
17
dylloveyou

Kolla集成外接ceph存储

一、概述 在实际交付过程中,由于某些原因,可能会碰到不需要kolla部署ceph,而是集成一套已存在ceph集群的情况,这种需求也是合理的。 在这种情况下,需要调整部分kolla的配置。 二、...
16
l1028386804

Storm之——自动化集群配置工具Puppet的类和模块

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79113359 使用独立的Puppet mainfest文件很容易定义资源的声...
l1028386804

Storm之——自动化集群配置工具Puppet

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79113187 Puppet(https://puppet.com/)是一个I...
weixin_39800144

高德地图获取经纬度、高德地图坐标转为百度地图坐标

通过异步网络请求,调用高德API,获取某个地址的经纬度等信息,再转为百度的经纬度。高德地图API,点击这里 package com.alibaba.controller; import com.a...
7
u010708577

Hbase原理、基本概念、基本架构

概述 HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache...
433
qazwsxpcm

大数据学习系列之九---- Hive整合Spark和HBase以及相关测试

前言 在之前的大数据学习系列之七 —– Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建,但是在使用hive进行数据查询的时候会非常的慢,因为hiv...
14
JAVAJJX06012002

点击量与浏览量的数据处理

数据处理 源数据样例 1010,华语剧场|剧情|当代|类型,1,0 需求 1010,华语剧场|剧情|当代|类型,1,0 数据格式说明: id,关键字组合,使用的是|分割符,是否展示(0...
124
zmisno1

Python之Matplotlib 解决绘图 X 轴值不按数组排序问题.

在用Matplotlib库绘制折线图的时候遇到一个问题,当定义一个x轴数组时,plot绘制折线图时,x轴并不会按照我们定义的数组的顺序去排列显示,例如:import matplotlib.pyplot...
22
snowfoxmonitor

matlab---常用命令--02

1. 用法:linspace(x1,x2,N) 功能:linspace是Matlab中的均分计算指令,用于产生x1,x2之间的N点行线性的矢量。其中x1、x2、N分别为起始值、终止值、元素...
76
M_WBCG

数据预处理--噪声

1.噪声是什么?数据集中的干扰数据(对场景描述不准确的数据) 2.噪声怎么产生的?举个例子:手机信号来自于基站发射的电磁波,有的地方比较强,有的地方比较弱。运营商的工程师会负责统计不同区域信号强弱来...
71
zhangxiangui40542

CoreOS编译与定制

CoreOS 编译(not customized)
71
snowfoxmonitor

matlab-- 常用命令--04

clear:清除原有变量 clc:清除命令窗口中的内容 quit:退出matlab demo:查看帮助 help:查看帮助,后面要加参数,与不同 figure:创建图形窗...
53
sun_xiao_kai

语音识别中GMM-HMM相关知识

本文讲阐述在语音识别中GMM-HMM的知识。其中包括了对GMM(Gauss Mixture Model)和HMM(Hidden Markov Model)的定义、原理及其算法的介绍。 GMM(高斯混...
47
caimouse img

为什么要学数据分析

为什么要学数据分析人工智能、大数据时代有什么技能是可以运用在各种行业的?数据分析就可以满足。从海量数据中获得别人看不见的信息,创业者可以通过数据分析来优化产品,营销人员可以通过数据分析改进营销策略,产...
46
ms961516792

使用VMware进行基于Ubuntu16.06LTS的Spark集群搭建

先说一下我用的软件or环境的版本: VMware14.1.1 Ubuntu16.06.03 jdk1.8.0_161 Scala2.10.5 Python2.12(装Ubuntu后自...
37
wojiushiwo987 img

Elasticsearch聚合后分页深入详解

1、Elasticsearch支持聚合后分页吗,为什么? 不支持,看看Elasticsearch员工如何解读。 这个问题,2014年在github上有很长的讨论。究其为什么ES不支持聚合后...
xiangxizhishi

Storm介绍及与Spark Streaming对比

1 Storm介绍Storm是由Twitter开源的分布式、高容错的实时处理系统,它的出现令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求。Storm常用于在实时分析、在线机器...
26
a1837634447

Spark 安装配置启动,蒙特·卡罗算法求PI

Apache Spark是一个开源集群运算框架,最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中,Spark使用了内存内运算技...
25
XinAn_ZXY

数据挖掘Apriori算法简介

Apriori算法是一种用于关联规则挖掘(Association rule mining)的代表性算法,它同样位居十大数据挖掘算法之列。关联规则挖掘是数据挖掘中的一个非常重要的研究方向,也是一个由来已...
24
sjq1028sc

Hadoop入门-高可用配置

我这里采用3台机器搭建Hadoop集群,分别为app01,app02,app03。 首先我们这三台机器做免秘钥登录。 一、多台机器之间免密ssh 分别在各个主机上检查ssh服务状态: # ...
24
weixin_40678969

简述Centos7下HIVE的安装(mysql数据库)

1.安装1.7及其以上的jdk版本;       2.安装mysql(mysql和hive可以安装在不同的机器上),其实Centos里是有内置的mysql的,如果对于rpm安装不熟悉的人,可以直接y...
24
u011724402

Spark-mllib源码分析之逻辑回归(Logistic Regression)

一个例子 类关系图 创建用LBFGS求解LR的类 运行模型 模型优化 1 损失与梯度的计算 2 LR目标函数梯度计算 3 LR正则项计算及梯度更新 模型预测 总结 1. 一个例子...
23
weixin_39800144

Spring Boot---(6)SpringBoot整合Redis

1.引入依赖     org.springframework.boot spring-boot-starter-data-redis 1.5.6.RELEASE  2.配置文件 # redi...
dylloveyou

Kolla的日志收集及展示

一、日志方案简介 Kolla 默认的日志收集工具是 Fluentd,当我们部署完 OpenStack 后,每个节点上都有一个 Fluentd容器运行,进行各个服务的日志收集。Fluentd 是一个开...
20
BornZhu

MapReduce概述

1.MapReduce的起源 它源自谷歌的MapReduce论文,发表于2004年12月,Hadoop的MapReduce是Google MapReduce的克隆版。 2.MapReduce的特点...
19
qq_26840065

第一期-两套完整大数据教程

第一套:某人学院 价值(1.7W) 第二套:某机构实地教学全套 价值(1.5W) 合购价格:50/元 上期福利分享: 链接: https://pan.b...
19
TENLIU2099

tenliu的爬虫-requests学习

更多内容请访问我的个人博客www.tenliu.top 历史回顾: 爬虫专题大纲 爬虫-抓包分析 urllib、urllib2、requests概述及三者关系 爬虫-urllib学习 爬虫-ur...
19

预告
img 进军Web前端工程师
讲师:曾亮老师

专家申请

img
熊佳牧

这里是我的个人简介,其实什么也没有写

img
黄海涛

概率与数理统计硕士,目前从事机器学习,深度学习与NLP研究,曾多次斩获全国数学建模竞赛一二...

img
王磊

2008-2011 后端java服务器开发 2011-2017 手机游戏客户端开发 2...

更多

日榜

官方博客

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部