Liu-Cheng Xu

温故知新

排序:
默认
按更新时间
按访问量

Spark History Server 没有生效

Spark 提供了 Web UI 来对 Spark 应用进行监控。每个 SparkContext 会启动一个 web UI,默认是在 4040 端口。它显示了应用相关的有用的信息,包括: 一系列的 scheduler stage 和 task RDD 大小和内存占用的概要 环境信息 正在运行的 e...

2017-07-19 18:30:36

阅读数:885

评论数:0

详解 MNIST 数据集

MNIST 数据集已经是一个被”嚼烂”了的数据集, 很多教程都会对它”下手”, 几乎成为一个 “典范”. 不过有些人可能对它还不是很了解, 下面来介绍一下.MNIST 数据集可在 http://yann.lecun.com/exdb/mnist/ 获取, 它包含了四个部分: Training se...

2017-07-17 20:41:35

阅读数:82675

评论数:15

实用的函数式编程

函数式编程 (functional programming) 正式开始有长足的发展始于 10 年前, 从那时起, 我开始看到 Scala, Clojure 和 F# 这样的语言得到关注. 这种关注并非只是像 “哇, 一个新语言, 酷!” 这样短暂的热度, 而是确实有某些实在的原因在推动着它 – ...

2017-07-16 17:37:49

阅读数:197

评论数:0

区块链跨链社区: chainx.org 文章归档

chainx.orgchainx 文章归档:Polkadot Polkadot(波卡链):畅想一种异构的多链架构(第1,2,3章) Polkadot(波卡链):畅想一种异构的多链架构(第4,5章) Polkadot(波卡链):畅想一种异构的多链架构(第6.1~6.5章) Polkadot(波卡链)...

2017-07-16 11:38:24

阅读数:998

评论数:0

Spark GraphX 对图进行可视化

Spark 和 GraphX 对并不提供对数据可视化的支持, 它们所关注的是数据处理. 但是, 一图胜千言, 尤其是在数据分析时. 接下来, 我们构建一个可视化分析图的 Spark 应用. 需要用到的第三方库有: GraphStream: 用于画出网络图 BreezeViz: 用户绘制图的结构化信...

2017-07-14 10:14:38

阅读数:2405

评论数:1

为什么施诺尔签名有助解决今天比特币的两大难题

如果问币圈中任何一个人: 比特币面临的最大挑战是什么? 你很可能会听到的回答是: “可扩展性”.为了解释施诺尔签名 (Schnorr signature) 是什么, 它将如何有助解决可扩展性, 我将首先简要回顾为什么可扩展性必须去解决以及目前的一些进展.回顾关于比特币网络应该如何扩展, 在过去几年...

2017-07-13 09:30:13

阅读数:684

评论数:0

crontab 定时重启 Apache 服务

通过 crontab 命令,我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。 首先在 $HOME/.profile 中设置 crontab 使用的编辑器:EDI...

2017-07-12 19:17:22

阅读数:1115

评论数:0

Spark GraphX: 改变图的结构

Spark GraphX 提供了 4 个十分有用的方法来改变图的结构, 方法签名如下: class Graph[VD, ED] { def reverse: Graph[VD, ED] def subgraph(epred: EdgeTriplet[VD,ED] =>...

2017-07-11 19:34:16

阅读数:989

评论数:0

并行图计算: GraphX 的 pregel 接口

pregel, 是一个计算模型, 由 Google 最先提出, 后来 Spark 采用它作为迭代图计算的一个通用编程接口.pregel 计算模型一个 pregel 程序由一系列叫做 超步(superstep) 的迭代构成, 在每个迭代中, 每个顶点会接收到它的邻居们在上一轮迭代发送的消息, 然后改...

2017-07-10 15:06:13

阅读数:857

评论数:0

Vim 插件管理器概览

什么是 Vim 插件见 :h plugin : Vim’s functionality can be extended by adding plugins. A plugin is nothing more than a Vim script file that is loaded a...

2017-07-05 19:12:04

阅读数:444

评论数:0

conda 环境管理

本文来自: Managing environments只是摘取了一些常用的操作, 更高级的用法可以查看原文档.创建一个环境为了管理多个环境, 那么我们至少要有两个环境, 以便能够进行移除或者切换.为了创建一个新的环境, 需要使用 create 命令, 后面跟上你想要创建环境的名字:conda c...

2017-07-04 18:30:22

阅读数:720

评论数:0

Kafka 与消息队列的快速比较

本文译自: A super quick comparison between kafka and Message Queues本文旨在对 Kafka 与消息队列之间进行一个快速比较, 以及为何应该使用 Kafka.Kafka 起初是由 Linkedin 发展而来. 总的看来, 它有点像一个消息队列...

2017-07-03 13:17:34

阅读数:1422

评论数:0

10 分钟理解 PyTorch 代码

本文译自: Understand PyTorch code in 10 minutesPyTorch 是一个新的深度学习框架. 本文的内容基于 Justin Johnson 的 教程, 如果想要有更多了解或有更多时间的话建议仔细研究一下.PyTorch 主要包含 4 个包 (package): t...

2017-07-01 15:25:12

阅读数:1179

评论数:0

Vim "小知识点"

:set 将会显示所有默认值被修改过的选项 (option):在一个选项后面加上 ? 来查看当前的选项值, 比如, :set undodir? .在一个选项后面加上 & 恢复其默认值, 比如, :set number? . 在使用 AsyncRun 时就曾经遇到过一个问题, #37 .:s...

2017-06-28 13:39:17

阅读数:168

评论数:0

Vim 文本对象指南 (1)

本文还是介绍一些基本内容, 关于插件使用, 可以查看完整配置 space-vim.如果想要在 Vim 里拥有高效编辑的能力, 必然要掌握超过单个字符编辑的能力, 不然就可能出现像之前看到过的一个笑话 : 在你刚开始使用 Vim 的时候做过什么令你 “难忘” 的事情? 答: 使用 j 跳...

2017-06-25 08:08:02

阅读数:425

评论数:0

网络工程师应该了解区块链什么机制?

网络工程师应该了解区块链什么机制?区块链是一个起初用来支持比特币的分布式账簿技术, 有些人熟悉, 有些人却鲜有闻之. 比特币允许人们无须银行或其他中间人进行在线的货币交易. 虽然比特币是区块链技术的首个应用, 但实际上, 区块链技术的应用有着无穷的可能.比特股创始人 bm 认为区块链能够使他所谓的...

2017-06-22 11:01:51

阅读数:678

评论数:0

代码健康: 减少嵌套, 降低复杂性

原文: Code Health: Reduce Nesting, Reduce Complexity多层嵌套的代码不仅影响可读性,同时很容易导致错误。试着在下面同一份代码的两个版本中找出 bug:答案: “wrong encoding” 和 “unauthorized” 错误被交换了. 在重构后的...

2017-06-11 10:53:50

阅读数:473

评论数:0

Spark Basic RDD 操作示例

Transformation基本 RDD 的 transformation假设有一个 RDD ,其中的元素有 {1, 2, 3, 3}: 函数 目的 示例 结果 map() 将函数应用到 RDD 中的每一个元素并以 RDD 的形式返回结果 rdd.map(x => ...

2017-06-01 12:17:41

阅读数:329

评论数:0

如何使用 Vim 的 help

实际上,无论是 Vim 的基础知识还是进阶知识,大都可以从 help 中找到指引。但是我想很多人并没有意识到这一点,或者并没有重视这一点。RTFM (read the fucking manual) 是学习的一个很好的途径,至少对于 Vim 而言,help 是一个绝佳的资源。Vim 的 help ...

2017-05-31 15:27:32

阅读数:1594

评论数:0

用 Python 写一个 NoSQL 数据库

本文译自 What is a NoSQL Database? Learn By Writing One In Python. 完整的示例代码已经放到了 GitHub 上, 请 点击这里, 这仅是一个极简的 demo, 旨在动手了解概念. 如果对译文有任何的意见或建议,欢迎 提 issue 讨论, ...

2017-05-16 14:00:08

阅读数:3362

评论数:3

提示
确定要删除当前文章?
取消 删除
关闭
关闭