2015年03月_yhao浩

10月 06月 05月 04月 03月 02月 01月

原创 Linux格式化并重新加载磁盘

今天在用fio做完centos系统IO对比测试后，发现个严重的问题，用df工具查看磁盘，发现经过fio写操作的磁盘容量变成了这样：瞬间就有一种不好的感觉，果然，经过多方查证，是由于磁盘反复进行写操作导致文件存储信息被破坏，只能进行格式化了。（吐槽一下，坑爹的fio，在测试之前完全没看到有这方面的说明）在网上搜集了一下Linux下磁盘格式化步骤，写下来和大家分享一下:

2015-03-26 12:50:10 26519 2

原创 win8.1中部分软件输入中文显示问号问题

最近新买了电脑，预装了正版win8.1，不过在今天发现一些软件输入中文时会变成问号（xshell、RTX等），这种坑爹，之前另一台机用win8.1用了快两年都没这问题！在网上搜索了好久都没发现问题出在哪儿，最后看到在一个博客里有提到输入法设置的问题，几经折腾终于解决了。

2015-03-20 15:24:28 6720 3

原创 java和scala分别实现WordCount

WordCount作为大数据领域的经典范例，如同HelloWorld在程序设计中的地位一样，是一个入门程序。在此使用并行化处理介绍WordCount程序过程。

2015-03-17 09:48:15 2833

原创 Intellij idea使用java编写并执行spark程序

初学使用Intellij idea编写spark程序。由于公司要求用java编写，但网上基本又是用scala来写spark程序（虽然确实用scala来写比java好很多），摸索之后决定把整个流程记录下来.

2015-03-13 11:30:22 8977

原创 Windows下使用sbt打造Intellij Idea环境下Spark源码阅读环境

Spark源码阅读环境的准备Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。本文介绍的是Windows下的各项配置方法（默认已经装了java，JDK）。

2015-03-09 11:27:29 2931

原创 Intellij Idea14配置GitHub

最近开始学习spark，推荐使用intellij idea，于是抱着试一试的态度用着看看，发现intellij idea确实很不错，比起eclipse来那是相当的智能！不过由于现在eclipse还是主流，intellij idea相对来说使用的人只是少数，所以缺乏教程，在此写出intellij idea14配置并使用github的方法：1. 下载github并安装官网下载地址：ht

2015-03-06 16:55:37 11095