Spark TroubleShooting

1.数据的并行度是资源的并行度的两到三倍 2.Spark的shuffle和MR的shuffle不同 3.Troubleshooting 解决算子函数返回NUll导致问题: 在返回的时候,返回一些特殊的值,不要返回null,比如“-999”;2、在通过算子获取到了一个RDD之后,可以对这个RD...

2017-11-06 17:27:40

阅读数 249

评论数 0

Spark性能调优

算子级别的优化:coalesce和repartition都能增加或减少分区的数量,repartition会发生shuffle1、浪费资源、数据倾斜:filter+coalesce(+repartition) 业务测试local,不需要去设置分区和并行度的数量 2、foreachpartitio...

2017-11-04 11:34:03

阅读数 498

评论数 0

Spark数据倾斜

1.在任何大数据类的项目中,都是最棘手的性能问题,最能体现人的技术能力,最能体现RD(Research Developer,研发工程师)的技术水平。 数据倾斜 = 性能杀手,如果没有丰富的经验,或者没有受过专业的技术培训,是很难解决数据倾斜问题的,因为上述的特点,数据倾斜解决方案,这块儿内容和技...

2017-11-04 11:32:53

阅读数 344

评论数 0

TensorFlow学习笔记(十)

1.TensorFlow神经网络—符号嵌入操作 描述 tf.nn.embedding_lookup (params, ids, partition_strategy=’mod’, name=None, validate_indices=True) 根据索引ids查询embedding列表p...

2017-11-03 17:49:22

阅读数 407

评论数 0

TensorFlow学习笔记(九)

TensorFlow神经网络—激活函数 操作 描述 tf.nn.relu(features, name=None) 整流函数:max(features, 0) tf.nn.relu6(features, name=None) 以6为阈值的整流函数:min(max(features, 0),...

2017-11-03 17:46:32

阅读数 441

评论数 0

TensorFlow学习笔记(八)

1.TensorFlow复数操作操作 描述 tf.complex(real, imag, name=None) 将两实数转换为复数形式 # tensor ‘real’ is [2.25, 3.25] # tensor imag is [4.75, 5.75] tf.complex(real,...

2017-11-01 17:27:45

阅读数 2311

评论数 0

TensorFlow学习笔记(七)

1.TensorFlow 是一个编程系统, 使用图来表示计算任务. 图中的节点被称之为op (operation 的缩写). 一个 op获得 0 个或多个张量(Tensor) , 执行计算, 产生 0 个或多个Tensor . 每个 Tensor 是一个按类型划分的多维数组. 例如, 你可以将一小...

2017-11-01 17:25:30

阅读数 164

评论数 0

TensorFlow基本介绍

1.TensorFlow简介 TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统,其命名来源于本身的运行原理。Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlo...

2017-10-30 17:22:52

阅读数 992

评论数 0

TensorFlow学习笔记(六)

Scope命名方式''' Created on 2017年10月26日@author: yanmengf ''' import tensorflow as tfwith tf.name_scope("a_name_scope"): initializer = tf.co...

2017-10-28 09:40:21

阅读数 110

评论数 0

TensorFlow学习笔记(五)

保存神经网络''' Created on 2017年10月26日@author: yanmengf ''' #coding:utf-8 """ Please note, this code is only for python 3+. If you are using...

2017-10-28 09:39:11

阅读数 100

评论数 0

TensorFlow学习笔记(四)

CNN—卷积神经网络 CONVOLUTIONS Neural Network ''' Created on 2017年10月25日@author: yanmengf ''' #coding:UTF-8 """ Please note, this code is on...

2017-10-28 09:37:40

阅读数 154

评论数 0

TensorFlow学习笔记(三)

分类学习—Classification ''' Created on 2017年10月25日@author: yanmengf ''' #coding:UTF-8 """ Please note, this code is only for python 3+. If...

2017-10-26 15:35:45

阅读数 153

评论数 0

TensorFlow学习笔记(二)

1. import tensorflow as tf import numpy as npdef add_layer(inputs,in_size,out_size,actvation_function=None): Weights = tf.Variable(tf.random_nor...

2017-10-25 21:24:01

阅读数 193

评论数 0

TensorFlow学习笔记(一)

Linux:sudo apt-get install python-pip python-dev#如果是Python2 sudo pip --upgrade https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.8.0-c...

2017-10-25 21:20:25

阅读数 222

评论数 0

Python学习笔记(十四)

使用Python的网页开发 1.python 2.7 version 2.使用easy_install lpthw.web 3.在目录下建立一个文件,如命名为goweb 4.在goweb文件夹下建立文件夹,命名为bin 5.在bin目录下建立一个文件命名为app.py 6.如下代码im...

2017-10-23 18:16:28

阅读数 110

评论数 0

Python学习笔记(十三)

1.图形界面 GuiTkinter GUI: Graphical User Interface Tkinter: GUI library for Python#coding:utf-8 from tkinter import *import tkinter.simpledialog as dl...

2017-10-21 11:21:50

阅读数 143

评论数 0

Python学习笔记(十二)

1.语法错误和异常错误while True print("Hello Python")Error Message: File “C:\Programming\eclipse\project\PythonStudy\Exception.py”, line 9 wh...

2017-10-21 11:20:51

阅读数 179

评论数 0

Python学习笔记(十一)

变量的输入输出 # coding:utf-8 str_1 = input("Enter a string:") str_2 = input("Enter another string:")print("str_1 is: " + str_...

2017-10-20 18:50:01

阅读数 94

评论数 0

Python学习笔记(十)

1.关键字break continue#关键词 break continue #其实在这里,continue是可有可无的 number = 29 i = 0 while True: guess = int(input("Enter an integer:")) ...

2017-10-19 17:56:32

阅读数 106

评论数 0

Python学习笔记(九)

1.if 和 for''' Created on 2017年10月17日@author: yanmengf ''' # coding:utf-8 #if语句 from Tuple_List_Compare import a_tuple number = 29 guess = int(input(&...

2017-10-18 18:11:32

阅读数 128

评论数 0

提示
确定要删除当前文章?
取消 删除