2017年07月_liuchengxu_

12月 11月 10月 09月 08月 07月 06月 05月 04月 01月

原创在 Shell 脚本中调用另一个 Shell 脚本的三种方式

先来说一下主要以下有几种方式：fork: path/to/foo.shexec: exec path/to/foo.shsource: source path/to/foo.shforkfork 是最普通的, 就是直接在脚本里面用 path/to/foo.sh 来调用 foo.sh 这个脚本，比如如果是 foo.sh 在当前目录下，就是 ./foo.sh。运行的时候 terminal 会

2017-07-28 23:38:09 101794 7

翻译 Scala 最佳实践：纯函数

我们所处的是一个命令式编程(imperative programming)的时代，这也是我们为何更喜欢用命令式风格写代码的原因。在我们周围的一切都是可变的。虽然可变性并没有那么差劲，但是共享可变性就有点麻烦了。当我们引入共享可变性时，各种问题就会随之而来。函数式风格是应对这类问题的一个很好的方法。函数式编程指的是仅通过使用纯函数（pure function）和不可变值来完成软件应用的编写。在本文，我

2017-07-26 17:06:21 1141

原创 Shell 中的中括号用法总结

Shell 里面的中括号（包括单中括号与双中括号）可用于一些条件的测试：算术比较, 比如一个变量是否为0, [ $var -eq 0 ]。文件属性测试，比如一个文件是否存在，[ -e $var ], 是否是目录，[ -d $var ]。字符串比较, 比如两个字符串是否相同， [[ $var1 = $var2 ]]。[] 常常可以使用 test 命令来代替，后面有介绍。算术比较对变量或值进

2017-07-23 16:15:05 9620 1

原创 Vim 文本对象指南 (2)

接 Vim 文本对象指南 (1), 关于插件使用, 可以查看完整配置 space-vim.编程语言的文本对象Vim 基于常见编程语言结构提供了几个常见的文本对象. 其实都是一对儿符号，主要可以分为:成对的标点符号，比如单引号，双引号，反引号。成对的括号，比如小括号，中括号，大括号。标记语言标签，它们也是成对的，比如 HTML 的标签，<div></div>。模式为操作 + a/i + 符号

2017-07-22 19:57:14 386

翻译 50 行 Python 代码构建一个区块链

尽管有人认为区块链 (blockchain) 是一个方案先于问题的技术，但毫无疑问, 这项新的技术已然是一个计算的奇迹。不过，到底区块链是什么呢区块链一个随时间增长，记录比特币或其他加密货币的交易的公开数字账本。简单来说，区块链是一个公开的数据库，新的数据会被存储到一个叫做区块 (block) 的数据结构中，而区块会被添加到一个不可更改的链 (chain) 上 (也就是区块链)，该链上存储着

2017-07-19 20:15:02 8958 2

原创 Spark History Server 没有生效

Spark 提供了 Web UI 来对 Spark 应用进行监控。每个 SparkContext 会启动一个 web UI，默认是在 4040 端口。它显示了应用相关的有用的信息，包括：一系列的 scheduler stage 和 taskRDD 大小和内存占用的概要环境信息正在运行的 executor 的一些信息只要打开 http://:4040 就可以看到该页面。如果有多个 Spark

2017-07-19 18:30:36 3787

原创详解 MNIST 数据集

MNIST 数据集已经是一个被”嚼烂”了的数据集, 很多教程都会对它”下手”, 几乎成为一个 “典范”. 不过有些人可能对它还不是很了解, 下面来介绍一下.MNIST 数据集可在 http://yann.lecun.com/exdb/mnist/ 获取, 它包含了四个部分:Training set images: train-images-idx3-ubyte.gz (9.9 MB, 解压后 47

2017-07-17 20:41:35 320165 50

翻译实用的函数式编程

函数式编程 (functional programming) 正式开始有长足的发展始于 10 年前, 从那时起, 我开始看到 Scala, Clojure 和 F# 这样的语言得到关注. 这种关注并非只是像 “哇, 一个新语言, 酷!” 这样短暂的热度, 而是确实有某些实在的原因在推动着它 – 或者至少我们是这么认为的.摩尔定律告诉我们每隔 18 个月, 计算机的速度就会翻倍. 这个定律一直从 1

2017-07-16 17:37:49 477

原创区块链跨链社区: chainx.org 文章归档

chainx.orgchainx 文章归档:PolkadotPolkadot（波卡链）：畅想一种异构的多链架构（第1，2，3章）Polkadot（波卡链）：畅想一种异构的多链架构（第4，5章）Polkadot（波卡链）：畅想一种异构的多链架构（第6.1~6.5章）Polkadot（波卡链）：畅想一种异构的多链架构（第6.6~6.8章）Polkadot（波卡链）：畅想一种异构的多链架构（第7

2017-07-16 11:38:24 1631

原创 Spark GraphX 对图进行可视化

Spark 和 GraphX 对并不提供对数据可视化的支持, 它们所关注的是数据处理. 但是, 一图胜千言, 尤其是在数据分析时. 接下来, 我们构建一个可视化分析图的 Spark 应用. 需要用到的第三方库有:GraphStream: 用于画出网络图BreezeViz: 用户绘制图的结构化信息, 比如度的分布.这些第三方库尽管并不完美, 而且有些限制, 但是相对稳定和易于使用. 安装 Gra

2017-07-14 10:14:38 5565 1

原创 crontab 定时重启 Apache 服务

通过 crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。首先在 $HOME/.profile 中设置 crontab 使用的编辑器:EDITOR=vi; export EDITOR新建一个 crontab 文件, 比如 root 用户的话就

2017-07-12 19:17:22 3262

原创 Spark GraphX: 改变图的结构

Spark GraphX 提供了 4 个十分有用的方法来改变图的结构，方法签名如下: class Graph[VD, ED] { def reverse: Graph[VD, ED] def subgraph(epred: EdgeTriplet[VD,ED] => Boolean, vpred: (VertexId, VD) => Bo

2017-07-11 19:34:16 2163

原创并行图计算: GraphX 的 pregel 接口

pregel, 是一个计算模型, 由 Google 最先提出, 后来 Spark 采用它作为迭代图计算的一个通用编程接口.pregel 计算模型一个 pregel 程序由一系列叫做超步(superstep) 的迭代构成, 在每个迭代中, 每个顶点会接收到它的邻居们在上一轮迭代发送的消息, 然后改变它的顶点和边. 此外, 在每个超步结束的时候, 每个顶点也会给它的邻居们发送消息. 通过将其看作顶点，

2017-07-10 15:06:13 2610

原创 Vim 插件管理器概览

什么是 Vim 插件见 :h plugin : Vim’s functionality can be extended by adding plugins. A plugin is nothing more than a Vim script file that is loaded automatically when Vim starts. You can add a plug

2017-07-05 19:12:04 1196

原创 conda 环境管理

本文来自: Managing environments只是摘取了一些常用的操作, 更高级的用法可以查看原文档.创建一个环境为了管理多个环境, 那么我们至少要有两个环境, 以便能够进行移除或者切换.为了创建一个新的环境, 需要使用 create 命令, 后面跟上你想要创建环境的名字:conda create --name snowflakes biopython当 conda 问你是否继续时:pro

2017-07-04 18:30:22 4551

翻译 Kafka 与消息队列的快速比较

本文译自: A super quick comparison between kafka and Message Queues本文旨在对 Kafka 与消息队列之间进行一个快速比较, 以及为何应该使用 Kafka.Kafka 起初是由 Linkedin 发展而来. 总的看来, 它有点像一个消息队列系统, 并做了一些调整使其能够支持发布/订阅, 在多个服务器上进行扩展, 对消息进行重放 (或者说, “

2017-07-03 13:17:34 4729

翻译 10 分钟理解 PyTorch 代码

本文译自: Understand PyTorch code in 10 minutesPyTorch 是一个新的深度学习框架. 本文的内容基于 Justin Johnson 的教程, 如果想要有更多了解或有更多时间的话建议仔细研究一下.PyTorch 主要包含 4 个包 (package):torch: 一个通用性的数组库, 与 Numpy 类似, 当 tensor 类型被转化(torch.cu

2017-07-01 15:25:12 4000