云计算/大数据
chongxin1

SparkStream:4)foreachRDD详解

转载自:http://blog.csdn.net/jiangpeng59/article/details/53318761 foreachRDD通常用来把SparkStream运...
11
u012551524

CDH 安装spark后,spark-shell启动报错

CDH 装完spark后如果启动spark-shell遇到如下错误: 需要给spark配置java环境变量 vi/opt/cloudera-manager/cm...
14
xiao1_1bing

爬取出来的json对他进行解析出我们需要的

{"data":{"start":0,"pageSize":10,"totalCount":50,"results":[{"name":"四豹电机科技(上海)有限公司","idCardOrOrgCod...
25
li905663280

idea(8) 远程部署和远程调试

https://stackoverflow.com/questions/29842516/error-running-intellij-debugger-unable-to-open-debugger...
17
liukuan73

Docker、Containerd、RunC...:你应该知道的所有

http://www.infoq.com/cn/news/2017/02/Docker-Containerd-RunC 从Docker 1.11开始,Docker容器运行已经不是简单的通过D...
12
singleonego

ES学习(一)构建查询

一、创建接口package com.ht.service.fsp.demo.service;import com.ht.service.fsp.demo.domain.DemoType; import...
20
Win_Xin

samba的资料大全

1:Using Samba 2 链接:http://pan.baidu.com/s/1slfV4FN 密码:zfsw 2:McGraw-Hill´s Samba UNIX And Window...
23
eieiei438

大数据预科班14

大数据预科班14 复习 异常 1. 顶级父类Throwable:Error,Exception 2. Exception:编译时异常、运行时异常 3. 自定义异常 4. 异常的捕获和处理...
21
qq_21046135

(一)监督学习模型之线性分类器

一、解决问题使用线性分类模型从事良/恶性肿瘤的预测任务二、数据地址http://archive.ics.uci.edu/ml/machine-learning-databases/breast-can...
19
u010807669

Spark内核的10大问题

问题1:reduce task数目不合适 解决方案: 需要根据实际情况调整默认配置,调整方式是修改参数spark.default.parallelism。通常的,reduce数目设置为core数目...
20
ygtlovezf

ceph-dencoder的使用

0 简介 贯穿Ceph OSD端数据处理的一个核心结构就是ObjectStore::Transaction,OSD处理的所有操作以及其关联的数据都会封装进入Transaction中的bufferli...
17
lxhandlbb

spark+carbondata使用

一、部署下载源码编译修改配置文件注意: 1.1.1 不支持spark2.2 会报错。二、启动: spark-shell –jars carbonlib/carbondata_2.11-1.1.1-...
20
qq_34463875

Kuberntes 服务质量保证(QoS)

【编者的话】Kubernetes做为目前主流的容器集群管理平台,需要整体统筹平台资源使用情况、公平合理的将资源分配给相关pod容器使用,并且要保证容器生命周期内有足够的资源来保证其运行。 与此同时,由...
17
qq_34463875

Kubernetes 的证书认证

今天让我们聊聊 Kubernetes 的公私钥和证书认证。 本文内容会提及如何根据需要对 CA、公私钥进行组织并对集群进行设置。 Kubernetes 的组件中有很多不同的地方可以放置证书...
22
ZhouyuanLinli

Ambari 2.5.0 汉化流程

汉化三个主要模块:ambari-web、ambari-admin、ambari-server 每次升级请使用Beyond Compare进行差异性对比替换即可。 三个主要模块: 1、amba...
15
liukuan73

Docker源码解读:1.flag解读

http://www.bubuko.com/infodetail-1099010.html 我是怎么想到要先看docker中的flag呢,就是因为docker采用了c/s结构,而且daemon和c...
22
qq_34463875

Fission:基于 Kubernetes 的 Serverless 函数框架

本文编译自 Kubernetes 的官方博文,原文为 Platform9 的软件工程师 Soam Vasani 所写,讲解了一个基于 Kubernetes 的 Serverless 函数(FaaS)框...
20
qq_34463875

Kubernetes中使用Node授权

Node授权是一种特殊授权模式,专门授权由kubelet访问的API请求。 概述 Node授权器允许kubelet执行的API操作包括: 读: servicesendpoint...
18
qq_34463875

Kubernetes 在知乎上的应用

知乎在 2014 年开始使用容器技术,至今为止几乎所有的业务都运行在容器平台上。知乎最初使用 Mesos 来管理容器集群,现在正处于向 Kubernetes 迁移的过程中。本次分享主要介绍知乎应用 K...
20
weixin_38983929

windows下使用sphinx全文检索

Sphinx的特性  高速的建立索引(在当代CPU上,峰值性能可达到10 MB/秒);  高性能的搜索(在2 – 4GB 的文本数据上,平均每次检索响应时间小于0.1秒);  可处理海量数据(目...
22
BrotherDong90

shell分割字符

shell中awk分割字符: F后面为分割符号name=`echo "my name is Eric"|awk -F ' ' '{print $4}'`Example:#!/bin/bash tot...
18
hyzhou33550336

Docker CE 镜像源站

Docker CE 镜像源站 安装帮助 Ubuntu 1404 1604 使用apt-get进行安装 CentOS 7 使用yum进行安装 安装校验 参考资料 Docker CE 镜像源站安装帮助Ub...
19
wstcjf

轮廓系数

假设我们已经通过一定算法,将待分类数据进行了聚类。常用的比如使用K-means ,将待分类数据分为了 k 个簇 。对于簇中的每个向量。分别计算它们的轮廓系数。 对于其中的一个点 i 来说: ...
15
bluehost123

在查询级别的平均位置中什么真正改变了?

在查询级别的平均位置中什么真正改变了? 在谷歌对的Google Search Console印象和平均位置进行了更新之后的几天里,Webmasters可能会有一段时间的恐慌。 我们在Merkle的...
34
qq_39645912

数据科学中心——首席数据科学家

岗位职责: 1、完善大数据挖掘和分析模型,构建大数据分析平台;  2、能够带领团队,负责研究方向和技术架构;  3、配合整个大数据研发,完成数据刻画所需的数据挖掘和数据分析。  任职资格: ...
14
bluehost123

互联网结构的最佳实践

互联网结构的最佳实践 网站架构 你的内部链接结构应该遵循金字塔的结构。你的主页在上面。直接隐藏在链接到相关博客或产品页面的基石页面或分类页面。在首页的一个链接中,所有的页面都会被认为是搜索引擎中最...
20
cv_family_z

车辆计数“FCN-rLSTM: Deep Spatio-Temporal Neural Networks for Vehicle Counting in City Cameras”

使用深度时空神经网络,在低质量视频中计算车数目。为了使用视频时间信息,结合FCN和时间递归神经网络(LSTM),即FCN-rLSTM估计车辆密度和车辆计数。FCN进行像素级预测,LSTM学习复杂的时间...
17
away30

10分钟让你知道什么是hadoop!

只要你没有远离计算机的世界,你一定听过Hadoop。Hadoop全名Apache Hadoop,是一个在通用低成本的硬件上处理存储和大规模并行计算的一个开源框架。从2011年他的面世,他已经成为大数据...
22
zy_zhengyang

分布式事务、两阶段提交协议、三阶提交协议

随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。 为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高...
19
LeizRo

ubuntu16.04上基于 VirtualEnv 安装tensorflow

参考官方文档的中文翻译基于VirtualEnv安装和运行tensorflow,遇到并解决了无法安装和找不到mnist的问题。
15

必备
img python干货还有10秒到达!
讲师:Python资料

专家申请

img
杜方云

阳光乐观,热爱技术,热爱健身!

img
薛章鹰

一个有理想的程序员

img
闫宗帅

2014年加入中兴通讯,并参加到数据库开发的项目中。一直以来专注于MySQL等数据库,在源...

更多

官方博客

img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部