- 博客(28)
- 资源 (9)
- 收藏
- 关注
转载 Scala for循环
for循环是一个循环控制结构,可以有效地编写需要执行的特定次数的循环。Scalar的循环说明如下的各种形式:for循环使用范围Scala中for循环最简单的语法是:for( var x Range ){ statement(s);}在这里,范围可能是一个数字范围,并且表示为i到j或有时像i到j左箭头例子:下面是循环使用范围从i到j语法的例子:object Te
2017-04-28 15:43:13 1003
转载 tensorflow实现偏微分方程的例子--模拟水滴掉落
TensorFlow 不仅仅是用来机器学习,它更可以用来模拟仿真。在这里,我们将通过模拟仿真几滴落入一块方形水池的雨点的例子,来引导您如何使用 TensorFlow 中的偏微分方程来模拟仿真的基本使用方法。注:本教程最初是准备做为一个 IPython 的手册。译者注:关于偏微分方程的相关知识,译者推荐读者查看 网易公开课 上的《麻省理工学院公开课:多变量微积分》课程。基
2017-04-28 11:04:07 3894
转载 Scala case语句与偏函数
Scala通过case语句提供了形式简单、功能强大的模式匹配功能。但是也许你不知道,Scala还具有一个与case语句相关的语言特性,那就是:在Scala中,被“{}”包含的一系列case语句可以被看成是一个函数字面量,它可以被用在任何普通的函数字面量适用的地方,例如被当做参数传递。 Scala代码 scala> val defaultValue:Option[Int
2017-04-28 10:02:32 6656
转载 Scala 强大的集合数据操作示例
Scala是数据挖掘算法领域最有力的编程语言之一,语言本身是面向函数,这也符合了数据挖掘算法的常用场景:在原始数据集上应用一系列的变换,语言本身也对集合操作提供了众多强大的函数,本文将以List类型为例子,介绍常见的集合变换操作。一、常用操作符(操作符其实也是函数)++ ++[B](that: GenTraversableOnce[B]): List[B] 从列表的尾部添加另外一个
2017-04-28 09:41:32 355
转载 Spark官方文档 - 中文翻译
1 概述(Overview)2 引入Spark(Linking with Spark)3 初始化Spark(Initializing Spark)3.1 使用Spark Shell(Using the Shell)4 弹性分布式数据集(RDDs)4.1 并行集合(Parallelized Collections)4.2 外部数据库(External Datasets)4.3 R
2017-04-28 09:27:11 1070
转载 Python小技巧:使用*解包和itertools.product()求笛卡尔积
Python小技巧:使用*解包和itertools.product()求笛卡尔积【问题】目前有一字符串s = "['a', 'b'],['c', 'd']",想把它分开成为两个列表:list1 = ['a', 'b']list2 = ['c', 'd']之后使用itertools.product()求笛卡尔积,应该写成:1 for i
2017-04-28 09:18:00 1639
转载 python绘制地图的利器Cartopy使用说明
python绘制地图一般使用Basemap绘图包,但该包配置相对较繁琐,自定义性不强,这里介绍一个绘制地图的利器Cartopy,个人认为该工具方便、快捷,附上一些自己写的程序。准备工作,工欲善其事,必先利其器(1)先下载主角:Cartopya)下载地址:linux平台直接去官网下载:http://scitools.org.uk/cartopy/download.htmlwind
2017-04-25 14:18:36 52802 10
转载 ¥¥%%%%%Ubuntu下用matplotlib作图时显示中文###重点第5条可以用!!!!%%%%%
Ubuntu下用matplotlib作图时显示中文之前在Ubuntu下用matplotlib作图的时候发现无法正常显示中文,查了一番以后发现是Ubuntu系统和matplotlib库没有共同可显示的中文字体库的原因。用此文章的方法可以解决这一问题。1.首先需要安装中文字体git clone https://github.com/tracyone/program_font && cd p
2017-04-24 19:37:18 521
转载 linux下ps命令 和 grep命令用法
inux上进程有5种状态:1. 运行(正在运行或在运行队列中等待)2. 中断(休眠中, 受阻, 在等待某个条件的形成或接受到信号)3. 不可中断(收到信号不唤醒和不可运行, 进程必须等待直到有中断发生)4. 僵死(进程已终止, 但进程描述符存在, 直到父进程调用wait4()系统调用后释放)5. 停止(进程收到SIGSTOP, SIGSTP, SIGTIN, SIGTOU信号后
2017-04-21 17:47:06 7136
转载 Spark从外部读取数据之textFile
textFile函数[java] view plain copy /** * Read a text file from HDFS, a local file system (available on all nodes), or any * Hadoop-supported file system URI, and return it as an
2017-04-21 17:41:44 4630
转载 [python]使用txt保存和读取列表变量
问题:在python实际运用中,我们经常需要将变量保存在txt文件中,并且希望未来能读取他们。这里我们将自定义两个函数,来简化这个操作。解决:1.保存入txt文件输入:content(列表变量),filename(文件名,如'1.txt'),mode(读写方式,默认mode = 'a').输出:在当前目录下创建一个名为filename文件,并且将列表的每个元素逐一写入文件(加
2017-04-20 13:27:48 7779
转载 Hive 数据导入HBase的2种方法详解
1、Hive 外部表2、MapReduce 写入 HBaseHive 数据导入HBase的2种方法详解王建奎Jerrick 发表于2年前 原Hive 数据导入HBase的2种方法详解 收藏王建奎Jerrick 发表于 2年前 阅读 3785
2017-04-19 14:59:07 18756
转载 HBase 常用Shell命令
两个月前使用过hbase,现在最基本的命令都淡忘了,留一个备查~进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hb
2017-04-19 14:07:48 421
转载 Impala与Hive的比较
1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具,Impala没有再使用缓慢的Hive+MapReduce批处理,而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成),可以直接从
2017-04-18 20:55:08 592
转载 Matplotlib 饼状图中的文字中文乱码问题
摘要: 今天画饼状图出现中文乱码,用传统的文字乱码处理方法包括设置rcParams,修改matplotlibrc都没有解决,最后通过直接直接找到实例用set_fontproperties解决今天用matplotlib画饼状图时候遇到中文乱码,一般遇到中文乱码有两种通用的解决方法,一种是修改matplotlibrc,通过修改matplotlibrc中的font.sans-serif添加中
2017-04-18 11:06:49 10214
转载 sql各种查询技巧
SQL Server T-SQL高级查询高级查询在数据库中用得是最频繁的,也是应用最广泛的。Ø 基本常用查询--selectselect * from student; --all 查询所有select all sex from student; --distinct 过滤重复select distinct sex from studen
2017-04-17 09:07:47 527
转载 SQL高级查询技巧
SQL高级查询技巧1.UNION,EXCEPT,INTERSECT运算符 A,UNION 运算符 UNION 运算符通过组合其他两个结果表(例如 TABLE1 和 TABLE2)并消去表中任何重复行而派生出一个结果表。 当 ALL 随 UNION 一起使用时(即 UNION ALL),不消除重复行。两种情况下,派生表的每一行不是来自 TABLE1 就是来自 TABL
2017-04-17 08:59:34 860
转载 几种保存Hive查询结果的方法
当然我们也可以查询保存到某个文件file.sql中,按下面的方式执行查询,并保存结果$ hive -f file.sql > /tmp/out.txt 下面是file.sql的内容:$ cat file.sql select user, login_timestamp from user_login hive客户的
2017-04-16 09:12:38 7997
转载 Spark RDD(DataFrame) 写入到HIVE的代码实现
在实际工作中,经常会遇到这样的场景,想将计算得到的结果存储起来,而在Spark中,正常计算结果就是RDD。而将RDD要实现注入到Hive表中,是需要进行转化的。关键的步骤,是将RDD转化为一个SchemaRDD,正常实现方式是定义一个case class.然后,关键转化代码就两行。data.toDF().registerTempTable("tabl
2017-04-15 19:13:56 9031
转载 Python:Matplotlib 画图(Code)
首先补充一下:两种体系7种颜色 r g b y m c k (红,绿,蓝,黄,品红,青,黑)在科研的过程中,坐标系中的XY不一定就是等尺度的。例如在声波中对Y轴取对数。肆意我们也必须知道这种坐标系如何画出来的。 1:对数坐标图 有3个函数可以实现这种功能,分别是:semilogx(),semilogy(),loglog()。它们分别表示对X轴,
2017-04-12 22:57:50 1891
转载 SQL之case when then用法
case具有两种格式。简单case函数和case搜索函数。--简单case函数case sex when '1' then '男' when '2' then '女’ else '其他' end--case搜索函数case when sex = '1' then '男' when sex = '2' then '女' else '其他' end
2017-04-11 00:42:43 309
转载 Anaconda 在linux下的安装
安装完anaconda后,输入Python,还是系统自带的版本 解决办法 在家目录下的.bashrc(即:~/.bashrc)添加路径 在文档最后,添加:export PATH=/home/book/anaconda2/bin:$PATH11保存退出后,更新路径source ~/.bashrc
2017-04-09 21:18:20 800
转载 基于Spark的FPGrowth(关联规则算法)
转载请标明出处:小帆的帆的专栏例子: 总共有10000个消费者购买了商品, 其中购买尿布的有1000人, 购买啤酒的有2000人, 购买面包的有500人, 同时购买尿布和啤酒的有800人, 同时购买尿布的面包的有100人。关联规则关联规则:用于表示数据内隐含的关联性,例如:购买尿布的人往往会购买啤酒。支持度(support)支持度:{
2017-04-09 17:46:44 1948
转载 Pandas DataFrames筛选数据的方法
在使用dataframe处理数据的时候碰到了按照条件选取行的问题,单个条件时可以使用:df[df['one'] > 5]如果多个条件的话需要这么写:import numpy as npdf[np.logical_and(df['one']> 5,df['two']>5)]也可以这么写df[(df['one']> 5) & (df['two']>5)]
2017-04-09 15:49:12 3894
转载 #######pip使用详解######
1、pip下载安装1.1 pip下载# wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate1.2 pip安装# tar -xzvf pip-1.5.4.tar.gz# cd
2017-04-07 13:42:00 569
转载 Centos 6.4 python 2.6 升级到 2.7
一开始有这个需求,是因为用 YaH3C 替代 iNode 进行校园网认证时,一直编译错误,提示找不到 Python 的某个模块,百度了一下,此模块是在 Python2.7 以上才有的,但是系统的自带的Python是2.6版本,难怪一直连不上网。于是,继续百度google,进行安装,后来又出现问题...在此开篇记录一下,权当备忘。查看python的版本[plain]
2017-04-05 17:41:38 255
转载 Py4j原理及简单使用
搞了两三个礼拜Jpype,感觉不是很给力,在Django中一直运行不起来,应该是本人技术水平过于低下吧。今天又见到了貌似可用的Py4j,貌似也可以用于Python调用Java函数,姑且先调研一下。Py4j sourceforge网址:http://py4j.sourceforge.net/index.html或者python官网中页面:http://pypi.python.org/py
2017-04-05 14:29:57 19854 5
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人