云计算/大数据
wsong_14

hadoop2.x与Hadoop1.x区别

hadoop2.x与Hadoop1.x区别: (1)2.x比1.x从性能上有很大增强 (2)Hadoop1中的JobTracker是一个功能集中的部分,负责资源的分配和任务的分配,所以J...
350
wx18529460381

自助无人便利店管理系统开发加盟

无人超市加盟需要多少费用?无人便利店加盟怎么加盟。
54
u011663071

spark学习记录

最近公司要开发一个spark项目,学习下spark使用,由于公司原因必须使用java,以下代码全部基于java实现。spark基础 基于内存实现,效率高于hadoop,内存不足的时候也会将中间结果写入...
36
xingjiarong

Edge Computing Implementation Based on Docker Containers

I、Container and DockerContainer technology is a kind of lightweight virtualization method. It provid...
259
liudan319

scrapy爬取豆瓣top250电影

本文的前提是大家已经安装好了scrapy。如果你们安装好,那就安装吧,根据我的安装经验,如果你使用的是win系统,安装会很麻烦,及时你使用了easyinstall,但是依旧会遇到你不曾想的问题,所以,...
65
daxiangqqcom

CentOS 7下安装集群HBase1.2.4

来源 : https://my.oschina.net/xhhuang/blog/809210 注意:在进行HBase集群配置前一定要配置集群时间同步,不然当集群中各节点时间差异过大时会...
46
daxiangqqcom

CentOS 7下安装集群Zookeeper-3.4.9

来源:https://my.oschina.net/xhhuang/blog/808600 一、引言 本文章是接着上一篇文章https://my.oschina.net/xhhuang/blog/...
40
qq_39591494

Docker-compose构建nginx反向代理实例

首先第一步安装启动docker在这里我就不演示了 docker compose项目。 compose简介 compose项目来源于之前的fig项目,使用python语言编写。compose项目主要用于...
149
L13571471349

Hive优化总结 ---by 食人花

Hive优化总结   ---by 食人花 长期观察hadoop处理数据的过程,有几个显著的特征: 1.不怕数据多,就怕数据倾斜。 2.对jobs数比较多的作业运行效率...
37
hephec

软件质量模型

软件质量模型
27
u012517439

CUDA 学习优化思路

GPU 学习,程序分析理论核心
30
Little_Coal

统计学习方法笔记1——感知机(perceptron)的Python实现

感知机(perceptron)是二分分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值,感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,为此,导入基于误...
59
u014516601

分布式基础知识

分布式环境的特性 1.分布性 2.并发性    程序运行过程中,并发性操作是很常见的比如一个分布式系统中的多个节点同时访问一个共享资源,数据库,分布式存储 3.无序性    进程之间的通信会出现顺序不...
26
u012517439

Profiler cuda 程序测试指导

Profiler测试cuda程序
29
u012517439

cuda 性能分析paper

cuda性能测试参考
30
u010003835

Redis lesson14 Redis 中的消息订阅

Redis 中也支持发布-订阅模型,但是在实际生产中基本没有人选用Redis 做发布订阅模型以及消息中间件,故在这里只做粗略的介绍。 什么是消费订阅模型? 进程间的一种消息...
28
tmac937436

Google's BigTable

题记:google 的成功除了一个个出色的创意外,还因为有 Jeff Dean 这样的软件架构天才。                                                 ...
24
tmac937436

Google File System

Google文件系统  GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 ...
22
tmac937436

MapReduce:超大机群上的简单数据处理

摘要 MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合...
18
mvpboss1004

Lostash event API详解

我们使用Logstash的ruby filter时,不可避免地要对event进行处理。然而蛋疼的是,Elastic的官方文档https://www.elastic.co/guide/en/logsta...
98
shn7798

解决Celery进程重启后,正在进行中的任务丢失或者标记为失败

修改配置如下:task_reject_on_worker_lost = True task_acks_late = True该配置可以保证task不丢失,中断的task在下次启动时将会重新执行。tas...
23
duan_zhihua img

010 极限的四则运算例题

010 极限的四则运算例题
45
l1028386804

Flume之——采集Nginx日志到HDFS

今天,就给大家带来一篇Flume采集Nginx日志到HDFS的文章,好了,不多说了,直接进入主题。 一、下载 大家可以到Apache官网下载:http://flume.apache.org/ 比如我...
276
fsandrewyi

Why Do We Use Fiber Optic Switch?

A fiber optic switch is a device of transferring signal and data through fiber optic cables and opti...
19
fxh13579

centos 6 安装 telnet

http://www.linuxidc.com/Linux/2016-01/127983.htm
18
hadoopp

java安装

java环境的配种方法 首先下载tar包  http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2...
18
github_38687585

zookeeper status出现error的解决方案

zookeeper出现error的可能情况以及解决方案
17
csdn1161851523

了解hadoop与分布式系统

Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 ...
20
henni_719

在ubuntu上构建并配置Spark的IDE开发环境

从网上下载相关的的IDEA的版本,由于我的java版本是1.7的,我下载的版本是IDEAIC_2017.2.4的包,导致后面无法加载jdk!最后我更换为IDEA 13.1.7的!下面的安装步骤截图是I...
31
mvpboss1004

Logstash事件字段遍历

有时候我们需要对Logstash中event的每一个字段进行操作。但问题是,字段的名称和数量有可能是不确定,比如当输入时json时。这时就需要借助ruby filter中的event接口:input ...
89

必备
img python干货还有10秒到达!
讲师:Python资料

专家申请

img
杨尚伟

热爱技术 热爱分享

img
陈明

从事Android、Java Web开发4年,喜欢将新技术应用于实践并提高工作效率,有代码...

img
郑冬冬

厦门四信产品经理,无线传感网事业部技术负责人,负责LoRa、ZigBee等系列产品的开发工...

更多

官方博客

img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部