kwame211的博客

排序：
默认
按更新时间
按访问量
RSS订阅

原 费雪方程式

费雪方程式：是传统货币数量论的方程式之一.20 世纪初 ,美国经济学家欧文·费雪在《货币的购买力》一书中提出了交易方程式 ,也被称为费雪方程式.费雪方程可概括为：一国的名义利率反映了依该国预期的通货膨胀调整后的真实回报率,也就是说造成各国名义回报率不同的原因,仅仅是因为通货膨胀率的预期不同.在投资...

2019-03-25 15:00:38

阅读数 6

评论数 0

原 拉格朗日插值法(图文详解)

拉格朗日插值法(图文详解) 在数值分析中，拉格朗日插值法是以法国十八世纪数学家约瑟夫·拉格朗日命名的一种多项式插值方法。许多实际问题中都用函数来表示某种内在联系或规律，而不少函数都只能通过实验和观测来了解。如对实践中的某个物理量进行观测，在若干个不同的地方得到相应的观测值，拉格朗日插值法可以...

2019-03-22 13:51:11

阅读数 15

评论数 0

原 linux查找进程名所在目录

linux通过pid找到对应的进程所在的目录。 比如：在去了一家新公司，不熟悉服务器缓存和搭建所在目录的时候，这时候就就可以通过ps查找进程，并通过进程pid找到运行的目录了；或者在我们维护服务器时，发现某个进程异常，而top和ps命令都无法看到进程所在目录的情况。 这里我们来拿nginx的举...

2019-03-22 11:52:28

阅读数 12

评论数 0

原 linux 查看运行进程所在目录

通过ps及top命令查看进程信息时，只能查到相对路径，查不到的进程的详细信息，如绝对路径等。这时，我们需要通过以下的方法来查看进程的详细信息： Linux在启动一个进程时，系统会在/proc下创建一个以PID命名的文件夹，在该文件夹下会有我们的进程的信息，其中包括一个名为exe的文件即记录了绝对...

2019-03-22 11:51:23

阅读数 13

评论数 0

原 第57课：SparkSQL案例实战学习笔记

第57课：SparkSQL案例实战学习笔记 本期内容： 1.SparkSQL基础案例实战 2.SparkSQL商业类型的案例 进入Spark官网的sql-programming-guide： http://spark.apache.org/docs/latest/sql-programming...

2019-03-20 17:34:47

阅读数 36

评论数 0

原 Python 的这几个技巧，简直屌爆了

我已经使用Python编程有多年了，即使今天我仍然惊奇于这种语言所能让代码表现出的整洁和对DRY编程原则的适用。这些年来的经历让我学到了很多的小技巧和知识，大多数是通过阅读很流行的开源软件，如Django, Flask,Requests中获得的。 下面我挑选出的这几个技巧常常会被人们忽略，但...

2019-03-20 13:34:29

阅读数 92

评论数 0

原 【DeepLearning】PyTorch 如何自定义损失函数（Loss Function）？

文章目录 1. 直接利用torch.Tensor提供的接口 2. 利用PyTorch的numpy/scipy扩展 3. 写一个PyTorch的C扩展 1. 直接利用torch.Tensor提供的接口 因为只是需要自定义loss，而loss可以看做对一个或多个Tensor的混合计算，比如计算一个三元...

2019-03-20 10:44:16

阅读数 55

评论数 0

原 微服务为什么一定要用docker

引言 早在2013年的时候，docker就已经发行，然而那会还是很少人了解docker。一直到2014年，Martin Fowler提出了微服务的概念，两个不相干的技术终于走在了一起，创造了今天的辉煌！ 近几年来，很多互联网关系开始跟风，构建docker+微服务的架构体系。然而，根据笔者观察发现...

2019-03-20 10:42:19

阅读数 45

评论数 0

原 java执行windows 的cmd 命令

//获取运行时 Runtime rt =Runtime.getRuntime(); //获取进程 Process p = rt.exec(String[] cmdarray); 或者 Process p = rt.exec(String cmd); 如果p不为空，那么要清空 if(nul...

2019-03-20 09:35:56

阅读数 39

评论数 0

原 hive 查找函数并查看函数使用方法

1.查看month相关的函数 show functions like '*month*' 输出如下： 2.查看add_months函数的用法 desc function add_months; 3. 查看 add_months 函数的详细说明并举例 desc function exte...

2019-03-19 15:50:55

阅读数 15

评论数 0

原 hive常用函数之条件判断函数IF,COALESCE,CASE

1.If函数:if和case差不多，都是处理单个列的查询结果 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 返回值: T 说明:当条件testCondition为TRUE时，返回valueTrue；否则返回val...

2019-03-19 15:50:13

阅读数 39

评论数 0

原 Scala多行字符串

在Scala中可以用"""的方式创建多行字符串，eg. object StringTest { def main(args: Array[String]): Unit = { val s1 ="""This is ...

2019-03-19 10:11:14

阅读数 17

评论数 0

原 Spark-RDD持久化

(1) persist算子 使用方法： var rdd = sc.textFile("test") rdd = rdd.persist(StorageLevel.MEMORY_ONLY) val count = rdd.count() //或者其他操作 StorageLeve...

2019-03-19 09:28:01

阅读数 27

评论数 0

原 Java使用SFTP和FTP两种连接方式实现对服务器的上传下载

一、Java实现对SFTP服务器的文件的上传下载 1、添加maven依赖： <dependency> <groupId>com.jcraft</groupId&gt...

2019-03-17 12:15:38

阅读数 35

评论数 0

原 Scala cmd 执行Linux命令

.!的作用是直接打印结果 scala> import sys.process._ import sys.process._ scala> "ls -al".! 总用量 24 drwxrwxr-x 6 1001 10...

2019-03-17 11:29:47

阅读数 53

评论数 0

原 使用java的java 命令，直接调用执行class文件

1.最基本用法 类名为 HelloWorld.java java HelloWorld (注意，不需要 java HelloWorld.class) 2.当有包时 类名为 com.sxz.HelloWorld.java 结构为 myClass └com └sxz └Hello...

2019-03-17 11:18:59

阅读数 32

评论数 0

原 Spark之本地模式与集群模式

Spark之本地模式与集群模式 1.spark-shell的本地模式和集群模式 1.1 local本地模式 直接启动spark-shell命令窗口 脚本启动后，会生成一个SparkContext的上下文对象sc。并且启动的是本地模式(local)。如图： 1.1.1 加载本地数据 sc...

2019-03-16 16:57:22

阅读数 27

评论数 0

原 csv、parquet、orc读写性能和方式

索引： 1.背景 2.存储方式 3.存储效率 4.读写方式 5.结论 6.其他格式 背景 最近在做一个大数据分析平台的项目，项目开发过程中使用spark来计算工作流工程中的每一个计算步骤，多个spark submit计算提交，构成了一个工作流程的计算。其中使用csv来作为多个计算步骤之间的中间结...

2019-03-16 08:51:00

阅读数 15

评论数 0

原 Spark SQL, DataFrames and Datasets Guide

Overview Spark SQL is a Spark module for structured data processing. Unlike the basic Spark RDD API, the interfaces provided by Spark SQL provide Sp...

2019-03-15 19:19:04

阅读数 65

评论数 0

原 Spark 2.4 正式发布，重要功能详细介绍

美国时间 2018年11月08日 正式发布了。一如既往，为了继续实现Spark更快，更轻松，更智能的目标，Spark 2.4带来了许多新功能，如下： 添加一种支持屏障模式（barrier mode）的调度器，以便与基于MPI的程序更好地集成，例如， 分布式深度学习框架； 引入了许多内置的高阶函数...

2019-03-15 18:30:09

阅读数 42

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭