Star-Technology

排序：
默认
按更新时间
按访问量
RSS订阅

原 Spark TroubleShooting

1.数据的并行度是资源的并行度的两到三倍 2.Spark的shuffle和MR的shuffle不同 3.Troubleshooting 解决算子函数返回NUll导致问题： 在返回的时候，返回一些特殊的值，不要返回null，比如“-999”;2、在通过算子获取到了一个RDD之后，可以对这个RD...

2017-11-06 17:27:40

阅读数 249

评论数 0

原 Spark性能调优

算子级别的优化：coalesce和repartition都能增加或减少分区的数量，repartition会发生shuffle1、浪费资源、数据倾斜：filter+coalesce（+repartition） 业务测试local，不需要去设置分区和并行度的数量 2、foreachpartitio...

2017-11-04 11:34:03

阅读数 498

评论数 0

原 Spark数据倾斜

1.在任何大数据类的项目中，都是最棘手的性能问题，最能体现人的技术能力，最能体现RD（Research Developer，研发工程师）的技术水平。 数据倾斜 = 性能杀手，如果没有丰富的经验，或者没有受过专业的技术培训，是很难解决数据倾斜问题的，因为上述的特点，数据倾斜解决方案，这块儿内容和技...

2017-11-04 11:32:53

阅读数 344

评论数 0

原 TensorFlow学习笔记（十）

1.TensorFlow神经网络—符号嵌入操作 描述 tf.nn.embedding_lookup (params, ids, partition_strategy=’mod’, name=None, validate_indices=True) 根据索引ids查询embedding列表p...

2017-11-03 17:49:22

阅读数 407

评论数 0

原 TensorFlow学习笔记（九）

TensorFlow神经网络—激活函数 操作 描述 tf.nn.relu(features, name=None) 整流函数：max(features, 0) tf.nn.relu6(features, name=None) 以6为阈值的整流函数：min(max(features, 0),...

2017-11-03 17:46:32

阅读数 441

评论数 0

原 TensorFlow学习笔记（八）

1.TensorFlow复数操作操作 描述 tf.complex(real, imag, name=None) 将两实数转换为复数形式 # tensor ‘real’ is [2.25, 3.25] # tensor imag is [4.75, 5.75] tf.complex(real,...

2017-11-01 17:27:45

阅读数 2311

评论数 0

原 TensorFlow学习笔记（七）

1.TensorFlow 是一个编程系统, 使用图来表示计算任务. 图中的节点被称之为op (operation 的缩写). 一个 op获得 0 个或多个张量（Tensor） , 执行计算, 产生 0 个或多个Tensor . 每个 Tensor 是一个按类型划分的多维数组. 例如, 你可以将一小...

2017-11-01 17:25:30

阅读数 164

评论数 0

原 TensorFlow基本介绍

1.TensorFlow简介 TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlo...

2017-10-30 17:22:52

阅读数 992

评论数 0

原 TensorFlow学习笔记（六）

Scope命名方式''' Created on 2017年10月26日@author: yanmengf ''' import tensorflow as tfwith tf.name_scope("a_name_scope"): initializer = tf.co...

2017-10-28 09:40:21

阅读数 110

评论数 0

原 TensorFlow学习笔记（五）

保存神经网络''' Created on 2017年10月26日@author: yanmengf ''' #coding:utf-8 """ Please note, this code is only for python 3+. If you are using...

2017-10-28 09:39:11

阅读数 100

评论数 0

原 TensorFlow学习笔记（四）

CNN—卷积神经网络 CONVOLUTIONS Neural Network ''' Created on 2017年10月25日@author: yanmengf ''' #coding:UTF-8 """ Please note, this code is on...

2017-10-28 09:37:40

阅读数 154

评论数 0

原 TensorFlow学习笔记（三）

分类学习—Classification ''' Created on 2017年10月25日@author: yanmengf ''' #coding:UTF-8 """ Please note, this code is only for python 3+. If...

2017-10-26 15:35:45

阅读数 153

评论数 0

原 TensorFlow学习笔记（二）

1. import tensorflow as tf import numpy as npdef add_layer(inputs,in_size,out_size,actvation_function=None): Weights = tf.Variable(tf.random_nor...

2017-10-25 21:24:01

阅读数 193

评论数 0

原 TensorFlow学习笔记（一）

Linux:sudo apt-get install python-pip python-dev#如果是Python2 sudo pip --upgrade https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.8.0-c...

2017-10-25 21:20:25

阅读数 222

评论数 0

原 Python学习笔记（十四）

使用Python的网页开发 1.python 2.7 version 2.使用easy_install lpthw.web 3.在目录下建立一个文件，如命名为goweb 4.在goweb文件夹下建立文件夹，命名为bin 5.在bin目录下建立一个文件命名为app.py 6.如下代码im...

2017-10-23 18:16:28

阅读数 110

评论数 0

原 Python学习笔记（十三）

1.图形界面 GuiTkinter GUI： Graphical User Interface Tkinter： GUI library for Python#coding:utf-8 from tkinter import *import tkinter.simpledialog as dl...

2017-10-21 11:21:50

阅读数 143

评论数 0

原 Python学习笔记（十二）

1.语法错误和异常错误while True print("Hello Python")Error Message: File “C:\Programming\eclipse\project\PythonStudy\Exception.py”, line 9 wh...

2017-10-21 11:20:51

阅读数 179

评论数 0

原 Python学习笔记（十一）

变量的输入输出 # coding:utf-8 str_1 = input("Enter a string:") str_2 = input("Enter another string:")print("str_1 is: " + str_...

2017-10-20 18:50:01

阅读数 94

评论数 0

原 Python学习笔记（十）

1.关键字break continue#关键词 break continue #其实在这里，continue是可有可无的 number = 29 i = 0 while True: guess = int(input("Enter an integer:")) ...

2017-10-19 17:56:32

阅读数 106

评论数 0

原 Python学习笔记（九）

1.if 和 for''' Created on 2017年10月17日@author: yanmengf ''' # coding:utf-8 #if语句 from Tuple_List_Compare import a_tuple number = 29 guess = int(input(&...

2017-10-18 18:11:32

阅读数 128

评论数 0

提示
确定要删除当前文章？
取消 删除