qq_26432675的博客

原创 大数据

大数据相关技术知识汇总数据仓库相关知识数据仓库数据库建模三步骤：概念模型-＞逻辑模型-＞物理模型数据仓库建模第一篇：数据仓库概述第二篇：数据仓库与数据集市建模第三篇：数据仓库系统的实现与使用(含OLAP重点讲解)多对多维度或多值维度数据仓库拉链表数据仓库中拉链表和流水表数仓中的全量表，增量表，拉链表，流水表，快照表数据仓库-拉链表，流水表，全量表，增量表数据仓库相关知识数据仓库链接: 数据仓库.数据库建模三步骤：概念模型-＞逻辑模型-＞物理模型链接: 数据库建模三步骤.数据仓库建模链接: 数据

转载 spark rdd api

http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.htmlmapPartitionsWithIndexval func = (index: Int, iter: Iterator[(Int)]) => { iter.toList.map(x => "[partID:" + index + ", va...

转载 SCALA知识点

原创 SCALA练习

scala> val lines = List("hello tom hello jerry","hello tom hello hello hello")lines: List[String] = List(hello tom hello jerry, hello tom hello hello hello)scala> lines.map(_.split(" "))res0...

转载 Scal：Master和worker之间的通信

Scala编程实战课程目标1.1. 目标：熟练使用Scala编写程序项目概述2.1. 需求目前大多数的分布式架构底层通信都是通过RPC实现的，RPC框架非常多，比如前我们学过的Hadoop项目的RPC通信框架，但是Hadoop在设计之初就是为了运行长达数小时的批量而设计的，在某些极端的情况下，任务提交的延迟很高，所有Hadoop的RPC显得有些笨重。Spark 的RPC是...

转载 Scala Actor

课程目标1.1. 目标一：熟悉Scala Actor并发编程1.2. 目标二：为学习Akka做准备注：我们现在学的Scala Actor是scala 2.10.x版本及以前版本的Actor。Scala在2.11.x版本中将Akka加入其中，作为其默认的Actor，老版本的Actor已经废弃什么是Scala Actor2.1. 概念Scala中的Actor能够实现并行编程的强大功能，...

原创 Matplotlib安装教程

Matplotlib安装教程 matplotlib的安装，很多人会遇到安装后报错，本教程基于32位win7系统下，python版本为2.7，完美解决matplotlib的安装。主要工具： Pyhton2.7.11 numpy-1.10.4-cp27-none-win32.whl或numpy-1.9.0-win32-superpack-python2.7.exe matplotlib-1.4.

原创 Centos7 VMWere安装教程

1/创建虚拟机:选择典型 2/选择稍后安装操作系统: 3/选择linux,并选择centos64 4/位置选择一个空间比较大的空间 5/虚拟机默认20G 6/选择自定义硬件 7/选择默认配置即可 8/进行ISO镜像设置 9/进入安装界面 第二部分1/选择第一项 2/安装过程为了方便可以选择简体中文，最后的使用界面如果不习惯中文，可以再改回来。 3/根据个人习惯进行选择，我比较习

转载 Python:鼠标滑动时坐标变化显示

# -*- coding: utf-8 -*-import wxclass PaintFrame (wx.Frame ):    def __init__( self , parent ):        wx.Frame.__init__ ( self, parent, - 1, "Panit Frame" , size = ( 800, 600 ))        self