willduan的博客

Apache Spark是用 Scala编程语言 编写的。为了用Spark支持Python，Apache Spark社区发布了一个工具PySpark。使用PySpark，您也可以使用Python编程语言中的 RDD 。正是由于一个名为 Py4j 的库，他们才能实现这一目标。PySpark提供了 PySpark Shell ，它将Python API链接到spark核心并初始化Spark上下文。今...

ymaxymaxy_{max} 要映射的目标区间最大值 yminyminy_{min} 要映射的目标区间最小值 xmaxxmaxx_{max} 目前数据最大值 xminxminx_{min} 目前数据最小值 xxx 假设目前数据中的任一值 yyy 归一化映射后的值y=ymin+ymax−yminxmax−xmin∗(x−xmin)y=ymin+ymax−yminxmax−xmin...

主要来自github，另外自己在后面加上了收集的部分，方面自己以后查阅或者别人查阅。 来自 github 项目（https://github.com/xhacker/GitProTips/blob/master/zh_CN.md）Git 进阶技巧本文尚未完成。本文不适用于初学者，适合了解 Git 的基本使用，知道 commit、push、pull，希望掌握 Git 更多功能的人阅读。你可以以任何顺

最近远程SSH到服务器运行程序经常出现   “UnicodeEncodeError: 'ascii' codec can't encode character in position 0: ordinal not in range(128)” 这个错误，起初以为是我用 Sublime Text 3文件设置的编码问题，后来看了编码也不是。之后用服务器本地的终端运行程序就没有出现这个错误，因此确定错误

之前一篇文章讲到了Linux安装OpenCV，这篇文章讲mac安装opencv。首先不得不说OpenCV很强大，但是也确实在安装的时候费一点事情，在折腾安装opencv的时候确实耗了很多时间，不过最终还是终于搞定了，前前后后搜索了很多文章，无奈都不适合我，之前在ubuntu下安装的时候也是这样，没有一篇是万能的，只能不断搜索，整合信息最后为自己所用。写下来权当自己以后查阅，也方便他人。

最近需要用TensorFlow跑一个SVHN的数据，但是需要用OpenCV处理图片，于是开始配置。但是用了好多教程零零碎碎配置了两天都没有配置好，今天发现了一篇不同的教程，于是和之前的教程两个结合起来竟然配置成功了！下面开始具体步骤。1. 前期准备前期需要安装好Python和pip等工具，我的版本是Python3.4.3和pip3.2. 安装依赖 sudo apt-get inst

在命令行输入：sudo add-apt-repository ppa:fkrull/deadsnakessudo apt-get updatesudo apt-get install python3.5安装完之后在命令行输入> python 发现显示版本还不是python3.5，那么我们就需要重新设置软链接了，接下来输入：cd /usr/binls | grep python会发现有

以前一时需要安装了Opera浏览器，下载的是deb文件，在Ubuntu上面安装万之后浏览器是可以用了，但是在用命令安装其他软件的时候老是提示我以下：软件包 opera-stable 需要重新安装，但是我无法找到相应的安装文件无奈什么都做不了，于是从网上 找到了一个解决办法，办法是用于其他软件的，我改了一下，发现可以有效的解决问题，下面就是所用的办法：sudo dpkg --remove

前段时间申请了一个腾讯云服务器，就想着能不能通过本地写代码，到时候自动保存到云端，借助云平台强大的运算能力来帮助我运行机器学习的代码。于是用Notepad++作为本地写代码工具，连接到云端，点击保存之后自动保存到云平台。下面说一下过程，分为两大部分：第一步就是，首先就是我云端平台是用的Ubuntu Server，需要安装和配置vsftpd：

最近翻百科的时候突然看到一个很不错素数筛选方法，叫六素数法，于是写了一下代码记录了下来。这是一种快速的判断一个数为素数的方法。首先解释一下什么叫六素数。六素数的英文为 “sexy prime” ，是相差为6的素数偶( p , p + 6 )，500之下的六素数 有： (5,11), (7,13), (11,17), (13,19), (17,23), (23,29), (31,37), (37,4

sudo tar -zxvf eclipse-jee-mars-1-linux-gtk.tar.gz sudo vi /usr/share/applications/eclipse.desktop[Desktop Entry]Type=ApplicationName=EclipseComment=Java development toolsIcon=/usr/loc