2017年04月_mishidemudong

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Scala for循环

for循环是一个循环控制结构，可以有效地编写需要执行的特定次数的循环。Scalar的循环说明如下的各种形式：for循环使用范围Scala中for循环最简单的语法是：for( var x Range ){ statement(s);}在这里，范围可能是一个数字范围，并且表示为i到j或有时像i到j左箭头例子：下面是循环使用范围从i到j语法的例子：object Te

2017-04-28 15:43:13 1002

转载 tensorflow实现偏微分方程的例子--模拟水滴掉落

TensorFlow 不仅仅是用来机器学习，它更可以用来模拟仿真。在这里，我们将通过模拟仿真几滴落入一块方形水池的雨点的例子，来引导您如何使用 TensorFlow 中的偏微分方程来模拟仿真的基本使用方法。注：本教程最初是准备做为一个 IPython 的手册。译者注:关于偏微分方程的相关知识，译者推荐读者查看网易公开课上的《麻省理工学院公开课：多变量微积分》课程。基

2017-04-28 11:04:07 3892

转载 Scala case语句与偏函数

Scala通过case语句提供了形式简单、功能强大的模式匹配功能。但是也许你不知道，Scala还具有一个与case语句相关的语言特性，那就是：在Scala中，被“{}”包含的一系列case语句可以被看成是一个函数字面量，它可以被用在任何普通的函数字面量适用的地方，例如被当做参数传递。 Scala代码 scala> val defaultValue:Option[Int

2017-04-28 10:02:32 6655

转载 Scala 强大的集合数据操作示例

Scala是数据挖掘算法领域最有力的编程语言之一，语言本身是面向函数，这也符合了数据挖掘算法的常用场景：在原始数据集上应用一系列的变换，语言本身也对集合操作提供了众多强大的函数，本文将以List类型为例子，介绍常见的集合变换操作。一、常用操作符（操作符其实也是函数）++ ++[B](that: GenTraversableOnce[B]): List[B] 从列表的尾部添加另外一个

2017-04-28 09:41:32 355

转载 Spark官方文档 - 中文翻译

1 概述(Overview)2 引入Spark(Linking with Spark)3 初始化Spark(Initializing Spark)3.1 使用Spark Shell(Using the Shell)4 弹性分布式数据集(RDDs)4.1 并行集合(Parallelized Collections)4.2 外部数据库(External Datasets)4.3 R

2017-04-28 09:27:11 1070

转载 Python小技巧：使用*解包和itertools.product()求笛卡尔积

Python小技巧：使用*解包和itertools.product()求笛卡尔积【问题】目前有一字符串s = "['a', 'b'],['c', 'd']"，想把它分开成为两个列表：list1 = ['a', 'b']list2 = ['c', 'd']之后使用itertools.product()求笛卡尔积，应该写成：1 for i

2017-04-28 09:18:00 1639

原创安装matplotlib basemap

https://github.com/matplotlib/basemap

2017-04-25 21:48:03 2081

转载 python绘制地图的利器Cartopy使用说明

python绘制地图一般使用Basemap绘图包，但该包配置相对较繁琐，自定义性不强，这里介绍一个绘制地图的利器Cartopy，个人认为该工具方便、快捷，附上一些自己写的程序。准备工作，工欲善其事，必先利其器（1）先下载主角：Cartopya）下载地址：linux平台直接去官网下载：http://scitools.org.uk/cartopy/download.htmlwind

2017-04-25 14:18:36 52800 10

转载￥￥%%%%%Ubuntu下用matplotlib作图时显示中文###重点第5条可以用！！！！%%%%%

Ubuntu下用matplotlib作图时显示中文之前在Ubuntu下用matplotlib作图的时候发现无法正常显示中文，查了一番以后发现是Ubuntu系统和matplotlib库没有共同可显示的中文字体库的原因。用此文章的方法可以解决这一问题。1.首先需要安装中文字体git clone https://github.com/tracyone/program_font && cd p

2017-04-24 19:37:18 521

转载 linux下ps命令和 grep命令用法

inux上进程有5种状态:1. 运行(正在运行或在运行队列中等待)2. 中断(休眠中, 受阻, 在等待某个条件的形成或接受到信号)3. 不可中断(收到信号不唤醒和不可运行, 进程必须等待直到有中断发生)4. 僵死(进程已终止, 但进程描述符存在, 直到父进程调用wait4()系统调用后释放)5. 停止(进程收到SIGSTOP, SIGSTP, SIGTIN, SIGTOU信号后

2017-04-21 17:47:06 7134

转载 Spark从外部读取数据之textFile

textFile函数[java] view plain copy /** * Read a text file from HDFS, a local file system (available on all nodes), or any * Hadoop-supported file system URI, and return it as an

2017-04-21 17:41:44 4629

转载 [python]使用txt保存和读取列表变量

问题：在python实际运用中，我们经常需要将变量保存在txt文件中，并且希望未来能读取他们。这里我们将自定义两个函数，来简化这个操作。解决：1.保存入txt文件输入：content(列表变量)，filename(文件名，如'1.txt'),mode(读写方式，默认mode = 'a').输出：在当前目录下创建一个名为filename文件，并且将列表的每个元素逐一写入文件（加

2017-04-20 13:27:48 7779

转载 Hive 数据导入HBase的2种方法详解

1、Hive 外部表2、MapReduce 写入 HBaseHive 数据导入HBase的2种方法详解王建奎Jerrick 发表于2年前原Hive 数据导入HBase的2种方法详解收藏王建奎Jerrick 发表于 2年前阅读 3785

2017-04-19 14:59:07 18756

转载 HBase 常用Shell命令

两个月前使用过hbase，现在最基本的命令都淡忘了，留一个备查~进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hb

2017-04-19 14:07:48 421

转载 Impala与Hive的比较

1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从

2017-04-18 20:55:08 592

转载 Matplotlib 饼状图中的文字中文乱码问题

摘要: 今天画饼状图出现中文乱码，用传统的文字乱码处理方法包括设置rcParams，修改matplotlibrc都没有解决，最后通过直接直接找到实例用set_fontproperties解决今天用matplotlib画饼状图时候遇到中文乱码，一般遇到中文乱码有两种通用的解决方法，一种是修改matplotlibrc，通过修改matplotlibrc中的font.sans-serif添加中

2017-04-18 11:06:49 10214

转载 sql各种查询技巧

SQL Server T-SQL高级查询高级查询在数据库中用得是最频繁的，也是应用最广泛的。Ø 基本常用查询--selectselect * from student; --all 查询所有select all sex from student; --distinct 过滤重复select distinct sex from studen

2017-04-17 09:07:47 527

转载 SQL高级查询技巧

SQL高级查询技巧1.UNION,EXCEPT,INTERSECT运算符 A,UNION 运算符 UNION 运算符通过组合其他两个结果表（例如 TABLE1 和 TABLE2）并消去表中任何重复行而派生出一个结果表。当 ALL 随 UNION 一起使用时（即 UNION ALL），不消除重复行。两种情况下，派生表的每一行不是来自 TABLE1 就是来自 TABL

2017-04-17 08:59:34 860

转载几种保存Hive查询结果的方法

当然我们也可以查询保存到某个文件file.sql中，按下面的方式执行查询，并保存结果$ hive -f file.sql > /tmp/out.txt 下面是file.sql的内容：$ cat file.sql select user, login_timestamp from user_login hive客户的

2017-04-16 09:12:38 7996

转载 Spark RDD(DataFrame) 写入到HIVE的代码实现

在实际工作中，经常会遇到这样的场景，想将计算得到的结果存储起来，而在Spark中，正常计算结果就是RDD。而将RDD要实现注入到Hive表中，是需要进行转化的。关键的步骤，是将RDD转化为一个SchemaRDD，正常实现方式是定义一个case class.然后，关键转化代码就两行。data.toDF().registerTempTable("tabl

2017-04-15 19:13:56 9031

转载 Python：Matplotlib 画图（Code）

首先补充一下：两种体系7种颜色 r g b y m c k （红，绿，蓝，黄，品红，青，黑）在科研的过程中，坐标系中的XY不一定就是等尺度的。例如在声波中对Y轴取对数。肆意我们也必须知道这种坐标系如何画出来的。 1：对数坐标图有3个函数可以实现这种功能，分别是：semilogx（），semilogy（），loglog（）。它们分别表示对X轴，

2017-04-12 22:57:50 1890

转载 SQL之case when then用法

case具有两种格式。简单case函数和case搜索函数。--简单case函数case sex when '1' then '男' when '2' then '女’ else '其他' end--case搜索函数case when sex = '1' then '男' when sex = '2' then '女' else '其他' end

2017-04-11 00:42:43 309

转载 Anaconda 在linux下的安装

安装完anaconda后，输入Python，还是系统自带的版本解决办法在家目录下的.bashrc(即：~/.bashrc)添加路径在文档最后，添加:export PATH=/home/book/anaconda2/bin:$PATH11保存退出后，更新路径source ~/.bashrc

2017-04-09 21:18:20 800

转载基于Spark的FPGrowth（关联规则算法）

转载请标明出处：小帆的帆的专栏例子：总共有10000个消费者购买了商品，其中购买尿布的有1000人，购买啤酒的有2000人，购买面包的有500人，同时购买尿布和啤酒的有800人，同时购买尿布的面包的有100人。关联规则关联规则：用于表示数据内隐含的关联性，例如：购买尿布的人往往会购买啤酒。支持度（support）支持度：{

2017-04-09 17:46:44 1946

转载 Pandas DataFrames筛选数据的方法

在使用dataframe处理数据的时候碰到了按照条件选取行的问题，单个条件时可以使用：df[df['one'] > 5]如果多个条件的话需要这么写：import numpy as npdf[np.logical_and(df['one']> 5,df['two']>5)]也可以这么写df[(df['one']> 5) & (df['two']>5)]

2017-04-09 15:49:12 3893

转载 #######pip使用详解######

1、pip下载安装1.1 pip下载# wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate1.2 pip安装# tar -xzvf pip-1.5.4.tar.gz# cd

2017-04-07 13:42:00 569

转载 Centos 6.4 python 2.6 升级到 2.7

一开始有这个需求，是因为用 YaH3C 替代 iNode 进行校园网认证时，一直编译错误，提示找不到 Python 的某个模块，百度了一下，此模块是在 Python2.7 以上才有的，但是系统的自带的Python是2.6版本，难怪一直连不上网。于是，继续百度google，进行安装，后来又出现问题...在此开篇记录一下，权当备忘。查看python的版本[plain]

2017-04-05 17:41:38 255

转载 Py4j原理及简单使用

搞了两三个礼拜Jpype，感觉不是很给力，在Django中一直运行不起来，应该是本人技术水平过于低下吧。今天又见到了貌似可用的Py4j，貌似也可以用于Python调用Java函数，姑且先调研一下。Py4j sourceforge网址：http://py4j.sourceforge.net/index.html或者python官网中页面：http://pypi.python.org/py

2017-04-05 14:29:57 19846 5