分布式模型与编程
爱吃草莓的西瓜酱
这个作者很懒,什么都没留下…
展开
-
序列化与压缩
序列化与压缩1. 序列化的基本概念2. 数据压缩的原理3. 序列化与压缩 a. 序列化的意义: i. 编写程序写文件A,另一个程序读取文件A ii. 进程通信时传输的数据 1) 基本数据类型实例:int,long,double等数值 2) 用户自定义类的实例:对象 iii. 如何完成进程间的对象传送? 1) a) C c = new C(x,x,x...原创 2019-01-22 16:18:16 · 1326 阅读 · 0 评论 -
进程通信
进程通信1. 进程与线程的区别 a. 线程是进程的一个实体,是CPU调度和分派的基本单位 b. 进程在执行过程中拥有独立的内存单元,而多个线程共享内存 c. 线程不能够独立执行,必须依赖进程 2. 进程间的通信方式 a. 进程之间需要交换数据 b. 进程各自有不同的用户地址空间 i. 同一台机器 ii. 不同机器 c. 通过操作系统内核 d. 方式:信号,信号量,消息队...原创 2019-01-22 16:17:27 · 314 阅读 · 0 评论 -
分布式模型与编程大纲
大纲分布式系统1. 分布式系统应用 a. 科学计算:CPU是瓶颈 b. 数据密集:数据IO是计算过程的瓶颈 c. 智能家居 d. 事务处理 e. 传感网络:扫车牌是否能进门?2. 纵向扩展: scalue-up (提高单台机器的处理能力) a. 异步通信: 成批传输数据 i. 将check form 从服务器端转移到客户端,可以减轻服务器端的压力,进而可以提高单台机器的处理...原创 2019-01-22 16:14:10 · 336 阅读 · 0 评论 -
Flink之Kmeans
Flink 之Kmeanskmeans.java‘’’package flink5;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import j...原创 2019-01-26 22:24:57 · 590 阅读 · 2 评论 -
流计算概述
流计算概述一、 流计算应用需求静态数据(支持决策分析而构建的数据仓库系统)可以利用数据挖掘和OLAP.OLTP(transaction)数据存储和管理,除了用数据仓库做,还可以用hdfs,hive就是基于hdfs的数据仓库挖掘引擎除了用数据仓库,还可以用hadoop,spark计算开始之前,数据已经存在了流数据特征:大量、快速、时变的流形式数据量大,但是不十...原创 2019-01-26 21:52:16 · 1546 阅读 · 0 评论 -
Storm安装部署遇到的问题
Caused by: while parsing a block mapping in ‘reader’, line 18, column 2: storm.zookeeper.serve#解决方案注意storm.zookeeper.servers:nimbus.seeds: […]前都需要一个空格,有且仅有一个空格。并且在seeds:空格[] 也需要一个空格,有且...原创 2018-11-20 10:51:51 · 344 阅读 · 0 评论 -
spark之join操作
import java.util.Arrays;import java.util.Iterator;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark....原创 2018-11-11 22:27:04 · 203 阅读 · 0 评论 -
spark 实现K-means算法
spark 实现K-means算法package kmeans;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.io.I...原创 2018-11-11 21:50:23 · 1083 阅读 · 4 评论 -
启动Yarn 出错
启动 ./bin/spark-shell --master yarn-client 出错报错信息Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead.2018-11-13 08:30:59 WARN NativeCode...原创 2018-11-13 18:00:10 · 1290 阅读 · 0 评论