- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 ubuntu 上OError: decoder jpeg not available问题解决
原因是PIL安装不全导致: 去我的网盘下载需要的软件包: http://pan.baidu.com/s/1hqCUJB2 共5个文件,分别解压,一次进入zlib,libpng,freetype,jpeg目录,执行下面命令 ./configure --prefix=/usr/local make sudo make install 然后再执行下面的命令: sudo apt
2015-10-09 16:25:23
473
原创 python matplotlib 机器学习,作图命令
1.柱状图 hist(list,bins=数字,color='lightblue',normed=True)list:必须是数字类型,而且允许重复,就是从最小值到最大值,分成bins组,然后画图,如果normed=True,就进行正则化,就是按百分百显示. hist(list,bins=list) 第一个list是一组数字,没有重复的,第二个list跟这个第一个list长度一样,也是个数字类
2015-09-22 14:42:32
1125
原创 spark 查找 中位数
基本的想法是, 第一步先partition,把一定范围的数字放入同一个partition 第二步,记录每一个partition的size,可以知道中位数落在哪个partition里面 第三步,把第二部找到的partition进行toArray,然后sort,然后获取中位数,或者不sort,利用的取中位数的函数直接取(后面博客会介绍) 先准备数据: import java.io.Print
2015-01-14 17:40:23
3250
1
原创 spark 下 wordcount 后 top k
1.加载数据，我的数据时在hdfs的/data/a.txt，也可以加载本地数据 val file=sc.textFile("hdfs:///data/a.txt") 2.wordcount val r=file.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_) 3.top k，这里共有两种解法 a)解法一，创建case class
2015-01-12 17:26:44
545
原创 利用LVS+Keepalived DR 实现高性能高可用负载均衡
最近公司用做负责均衡，研究了一下lvs，做为我的第一篇博客吧。 一． LVS+Keepalived 介绍 1. LVS LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/T
2014-12-17 14:22:20
564
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人