Scala for循环

for循环是一个循环控制结构,可以有效地编写需要执行的特定次数的循环。Scalar的循环说明如下的各种形式: for循环使用范围 Scala中for循环最简单的语法是: for( var x Range ){ statement(s); } 在这里,范围可能是一个数字范围,并且表示...

2017-04-28 15:43:13

阅读数:320

评论数:0

tensorflow实现偏微分方程的例子--模拟水滴掉落

TensorFlow 不仅仅是用来机器学习,它更可以用来模拟仿真。在这里,我们将通过模拟仿真几滴落入一块方形水池的雨点的例子,来引导您如何使用 TensorFlow 中的偏微分方程来模拟仿真的基本使用方法。 注:本教程最初是准备做为一个 IPython 的手册。 译者注:关于偏微分方程...

2017-04-28 11:04:07

阅读数:1988

评论数:0

Scala case语句与偏函数

Scala通过case语句提供了形式简单、功能强大的模式匹配功能。但是也许你不知道,Scala还具有一个与case语句相关的语言特性,那就是:在Scala中,被“{}”包含的一系列case语句可以被看成是一个函数字面量,它可以被用在任何普通的函数字面量适用的地方,例如被当做参数传递。  ...

2017-04-28 10:02:32

阅读数:2894

评论数:0

Scala 强大的集合数据操作示例

Scala是数据挖掘算法领域最有力的编程语言之一,语言本身是面向函数,这也符合了数据挖掘算法的常用场景:在原始数据集上应用一系列的变换,语言本身也对集合操作提供了众多强大的函数,本文将以List类型为例子,介绍常见的集合变换操作。 一、常用操作符(操作符其实也是函数) ++ ++[B]...

2017-04-28 09:41:32

阅读数:169

评论数:0

Spark官方文档 - 中文翻译

1 概述(Overview)2 引入Spark(Linking with Spark)3 初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell) 4 弹性分布式数据集(RDDs) 4.1 并行集合(Paralle...

2017-04-28 09:27:11

阅读数:475

评论数:0

Python小技巧:使用*解包和itertools.product()求笛卡尔积

Python小技巧:使用*解包和itertools.product()求笛卡尔积 【问题】 目前有一字符串s = "['a', 'b'],['c', 'd']",想把它分开成为两个列表: list1 = ['a', 'b'] list2 = ['c...

2017-04-28 09:18:00

阅读数:1074

评论数:0

安装matplotlib basemap

https://github.com/matplotlib/basemap

2017-04-25 21:48:03

阅读数:1164

评论数:0

python绘制地图的利器Cartopy使用说明

python绘制地图一般使用Basemap绘图包,但该包配置相对较繁琐,自定义性不强,这里介绍一个绘制地图的利器Cartopy,个人认为该工具方便、快捷,附上一些自己写的程序。 准备工作,工欲善其事,必先利其器 (1)先下载主角:Cartopy a)下载地址: linux平台直接去官网下载...

2017-04-25 14:18:36

阅读数:10674

评论数:0

¥¥%%%%%Ubuntu下用matplotlib作图时显示中文###重点第5条可以用!!!!%%%%%

Ubuntu下用matplotlib作图时显示中文 之前在Ubuntu下用matplotlib作图的时候发现无法正常显示中文,查了一番以后发现是Ubuntu系统和matplotlib库没有共同可显示的中文字体库的原因。用此文章的方法可以解决这一问题。 1.首先需要安装中文字体 git clo...

2017-04-24 19:37:18

阅读数:268

评论数:0

linux下ps命令 和 grep命令用法

inux上进程有5种状态: 1. 运行(正在运行或在运行队列中等待) 2. 中断(休眠中, 受阻, 在等待某个条件的形成或接受到信号) 3. 不可中断(收到信号不唤醒和不可运行, 进程必须等待直到有中断发生) 4. 僵死(进程已终止, 但进程描述符存在, 直到父进程调用wait4()系统调...

2017-04-21 17:47:06

阅读数:1439

评论数:0

Spark从外部读取数据之textFile

textFile函数 [java] view plain copy /**    * Read a text file from HDFS, a local file system (available on all nodes), or any    * Had...

2017-04-21 17:41:44

阅读数:2603

评论数:0

[python]使用txt保存和读取列表变量

问题: 在python实际运用中,我们经常需要将变量保存在txt文件中,并且希望未来能读取他们。这里我们将自定义两个函数,来简化这个操作。 解决: 1.保存入txt文件 输入:content(列表变量),filename(文件名,如'1.txt'),mode(读写方式,默认mode =...

2017-04-20 13:27:48

阅读数:4047

评论数:0

Hive 数据导入HBase的2种方法详解

1、Hive 外部表2、MapReduce 写入 HBase Hive 数据导入HBase的2种方法详解 王建奎Jerrick 发表于2年前       原Hive 数据导入HBase的2种方法详解 ...

2017-04-19 14:59:07

阅读数:6489

评论数:0

HBase 常用Shell命令

两个月前使用过hbase,现在最基本的命令都淡忘了,留一个备查~ 进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hba...

2017-04-19 14:07:48

阅读数:291

评论数:0

Impala与Hive的比较

1. Impala架构        Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具,Impala没有再使用缓慢的Hive+MapReduce批处理,而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Plan...

2017-04-18 20:55:08

阅读数:344

评论数:0

Matplotlib 饼状图中的文字中文乱码问题

摘要: 今天画饼状图出现中文乱码,用传统的文字乱码处理方法包括设置rcParams,修改matplotlibrc都没有解决,最后通过直接直接找到实例用set_fontproperties解决 今天用matplotlib画饼状图时候遇到中文乱码,一般遇到中文乱码有两种通用的解决方法,一种是...

2017-04-18 11:06:49

阅读数:3157

评论数:0

sql各种查询技巧

SQL Server T-SQL高级查询 高级查询在数据库中用得是最频繁的,也是应用最广泛的。 Ø 基本常用查询 --select select * from student;   --all 查询所有 select all sex from student; ...

2017-04-17 09:07:47

阅读数:289

评论数:0

SQL高级查询技巧

SQL高级查询技巧 1.UNION,EXCEPT,INTERSECT运算符  A,UNION 运算符  UNION 运算符通过组合其他两个结果表(例如 TABLE1 和 TABLE2)并消去表中任何重复行而派生出一个结果表。  当 ALL 随 UNION 一起使用时(即 U...

2017-04-17 08:59:34

阅读数:500

评论数:0

几种保存Hive查询结果的方法

当然我们也可以查询保存到某个文件file.sql中,按下面的方式执行查询,并保存结果 $ hive -f file.sql > /tmp/out.txt    下面是file.sql的内容: $ cat file.sql   select us...

2017-04-16 09:12:38

阅读数:5017

评论数:0

Spark RDD(DataFrame) 写入到HIVE的代码实现

在实际工作中,经常会遇到这样的场景,想将计算得到的结果存储起来,而在Spark中,正常计算结果就是RDD。 而将RDD要实现注入到Hive表中,是需要进行转化的。 关键的步骤,是将RDD转化为一个SchemaRDD,正常实现方式是定义一个case class. 然后,...

2017-04-15 19:13:56

阅读数:3616

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭