SparkTask未序列化(Tasknotserializable)问题分析

问题描述及原因分析在编写Spark程序中,由于在map等算子内部使用了外部定义的变量和函数,从而引发Task未序列化问题。然而,Spark算子在计算过程中使用外部变量在许多情形下确实在所难免,比如在filter算子根据外部指定的条件进行过滤,map根据相应的配置进行变换等。为了解决上述Task未序...

2018-06-29 17:40:21

阅读数 66

评论数 0

Python3pandas库DataFrame用法(基础整理)

创建一个DataFrame(1)用字典dict,字典值value是列表list(2)用Series构建DataFrame(3)用一个字典构成的列表list of dicts来构建DataFrame广播特性定位DataFrame里的元素(1)利用表达式boolean定位(2)利用loc,iloc,i...

2018-06-29 14:39:46

阅读数 953

评论数 0

临近路口 切勿变道压实线 以免扣分罚款

太平洋汽车网 临沂车市】岁月匆匆,转眼间过完年又到4月份了。这个季节的临沂天气真的像是娃娃的脸了,说变就变啊。一周就能经历个一年四季、春夏秋冬了。这近期的冷空气,让没有暖气的我们着实冻的不清。小编这心里啊,也哇凉哇凉的。要问为什么?同一路口位置,连续两天同一违章被拍,一共扣6分,罚400元!违章内...

2018-06-29 12:53:34

阅读数 2520

评论数 0

交警部门:路口随意变道压实线罚200元记3分

 昨日下午,在东湖路和东湖一街相交的红绿灯路口处,有车辆随意压实线变道。 《东江时报》记者朱金赞 摄  东江时报讯 记者刘豪伟 通讯员邓闽榕 驾车通过红绿灯路口时,注意看清路面上的交通标线,如果稍不守规矩就会被“电子警察”抓拍处罚。昨日,东时记者从市交警支队了解到,目前市交警部门正对车辆在红绿灯路...

2018-06-29 12:50:01

阅读数 495

评论数 0

基于xgboost 的贷款风险预测

 现在我们用传说中的xgboost 对这个数据集进行计算 #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Sat Aug 19 13:19:26 2017 @auth...

2018-06-28 18:03:22

阅读数 362

评论数 0

详解GAN代码之搭建并详解CGAN代码

 CGAN是Conditional Generative Adversarial Nets的缩写,也称为条件生成对抗网络。条件生成对抗网络指的是在生成对抗网络中加入条件(condition),条件的作用是监督生成对抗网络。本篇博客通过简单代码搭建,向大家解析了条件生成对抗网络CGAN。   在开始...

2018-06-28 18:03:10

阅读数 601

评论数 0

离散型概率分布之一——二项分布

学习机器学习的过程中,不可避免会遇到很多概率统计知识,大多都是记得自己以前学过,但是具体知识点怎么都想不起来的。所以打算做一个系列的整理,首先从最简单的二项分布开始。由于知识点呈递进关系,就不强行列一个目录出来了。出于从最基础的知识点开始学起的想法,首先要了解的知识点是,什么是分布?具体来说,应该...

2018-06-28 18:03:01

阅读数 2963

评论数 0

python之pandas简单介绍及使用(一)

一、  Pandas简介1、Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地...

2018-06-28 18:02:51

阅读数 258

评论数 0

对字符串,字节数组进行GZIP压缩和解压缩

对字符串,字节数组进行GZIP压缩和解压缩,代码如下:[java] view plain copyimport java.io.ByteArrayInputStream;  import java.io.ByteArrayOutputStream;  import java.io.IOExcept...

2018-06-28 18:02:44

阅读数 196

评论数 0

Spark MLlib特征处理:均值、方差、协方差 ---原理及实战

原理向量a→=(x1,x2,x3...xn)a→=(x1,x2,x3...xn),akak是a→a→中的任意元素,k=1,2,3⋯nk=1,2,3⋯n 例如:a→a→代表一个维度(特征)DimA,akak代表特征值。 向量b→=(x1,x2,x3...xn)b→=(x1,x2,x3...xn),b...

2018-06-28 18:02:35

阅读数 103

评论数 0

Spyder配置

说明入科学计算的坑,人生苦短,还是用python吧。 目前比较好的环境还是Winpython,下载完成后,默认装好了三大包!numpy,pylab, scipy。当然还有pandas了。 关键是,里面自带了一个Spyder的小ide,类似于matlab,内嵌ipython,交互式写代码,有工作空间...

2018-06-28 17:43:43

阅读数 1679

评论数 0

官网实例详解4.34(mnist_transfer_cnn.py)-keras学习笔记

迁移学习实例Keras实例目录代码注释[python] view plain copy'''''Transfer learning toy example. 迁移学习实例 1 - Train a simple convnet on the MNIST dataset the first 5 dig...

2018-06-28 17:30:29

阅读数 118

评论数 0

干货!!!学习笔记-TensorFlow NN

1、NN1.1基础网络的解析       其中,测试和验证集能赋值到 tf.constant() 中,而训练集可以导入 tf.placeholder() 中,训练集只有导入占位符我们才能在随机梯度下降中成批量地进行训练。网络定义的权重矩阵和偏置向量后需要执行初始化,每一层需要一个权重矩阵和一个偏置...

2018-06-28 16:42:40

阅读数 99

评论数 0

Python3pandas库DataFrame用法(基础整理)

创建一个DataFrame(1)用字典dict,字典值value是列表list(2)用Series构建DataFrame(3)用一个字典构成的列表list of dicts来构建DataFrame广播特性定位DataFrame里的元素(1)利用表达式boolean定位(2)利用loc,iloc,i...

2018-06-28 16:41:01

阅读数 220

评论数 0

python的字符串截取

str = ‘0123456789’ print str[0:3] #截取第一位到第三位的字符 print str[:] #截取字符串的全部字符 print str[6:] #截取第七个字符到结尾 print str[:-3] #截取从头开始到倒数第三个字符之前 print str[2] #截取第...

2018-06-26 11:51:27

阅读数 929

评论数 0

python—pandas中DataFrame类型数据操作函数

python数据分析工具pandas中DataFrame和Series作为主要的数据结构. 本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数。 1)查看DataFrame数据及属性df_obj = DataFrame() #创建DataFrame对象 df_obj.dt...

2018-06-25 20:38:22

阅读数 158

评论数 0

十分钟搞定pandas

10 Minutes to pandasThis is a short introduction to pandas, geared mainly for new users. You can see more complex recipes in the Cookbook10分钟搞定pandas...

2018-06-25 19:56:40

阅读数 243

评论数 0

Scala讲座:类定义和构造函数

本文节选自最近在日本十分流行的Scala讲座系列的第三篇,由JavaEye的fineqtbull翻译。本系列的作者牛尾刚在日本写过不少有关Java和Ruby的书籍,相当受欢迎。序言到这为止牛尾先生作了一下Scala语言的介绍,接下来以微型旅游的形式做一下有关Scala语法特点的探险。如果是初次接触...

2018-06-25 16:45:18

阅读数 140

评论数 0

python dataframe NaN处理

将dataframe中的NaN替换成希望的值import pandas as pd df1 = pd.DataFrame([{'col1':'a', 'col2':1}, {'col1':'b', 'col2':2}]) df2 = pd.DataFrame([{'col1':'a', 'col3...

2018-06-25 15:28:48

阅读数 1070

评论数 0

pandas获取groupby分组里最大值所在的行

pandas获取groupby分组里最大值所在的行10/May 2016python pandaspandas获取groupby分组里最大值所在的行如下面这个DataFrame,按照Mt分组,取出Count最大的那行import pandas as pd df = pd.DataFrame({'S...

2018-06-25 15:27:33

阅读数 550

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭