2016年01月_haoran_gao

原创 scala编码规范

格式与命名语法特性编码风格高效编码编码模式测试格式与命名1) 代码格式用两个空格缩进。避免每行长度超过100列。在两个方法、类、对象定义之间使用一个空白行。2) 优先考虑使用val，而非var。3) 当引入多个包时，使用花括号：import jxl.write.{WritableCell, Number, Label}当引入的包超过6个时，应使用通配符_：import org.sca

2016-01-26 10:23:15 3115

原创 scala参数传递

在编程语言中，参数传递有多种方式，比如c++中的传递地址和传递数值。在scala中多了一种名称传递Call-by-Name: => Type名称传递表示传递的参数名称会替代函数中的参数名称。我们举个例子def f(x: => Int) = x * x=>int表示一个代码块,最终返回Int通过以下代码调用函数fvar y = 0f { y += 1; y }{ y += 1; y }会替代x

2016-01-25 18:25:30 2673

翻译 Machine Learning 102: Practical Advice

http://www.astroml.org/sklearn_tutorial/practical.htmlObjectives 目标 By the end of this section you will 单元结束你可以 Be able to describe the hyperparameters of a model, and how cross-validation can

2016-01-18 17:55:31 364

转载 Difference between a LinkedList and a Binary Search Tree

Linked List:Item(1) -> Item(2) -> Item(3) -> Item(4) -> Item(5) -> Item(6) -> Item(7) Binary tree: Node(1) / Node(2) / \ / Node

2016-01-15 17:03:05 264

原创 click through rate prediction

https://dato.com/learn/gallery/notebooks/feature_engineering_with_graphlab_create.html

2016-01-13 19:27:14 299

原创 spark submit jars

http://www.tuicool.com/articles/ZJFJ3i

2016-01-13 05:04:40 468

原创 graphlab

机器学习的一个核心目标是对输入数据进行分类。例如一个训练好的分类器，输入一张图片便可预测这张图中是狗还猫。用来分类的方法有很多，支持向量机、逻辑回归、深度学习等假设我们有一个1024行的SFrame数据集，我们要随机把它分割成90%/10%.>>> sf = graphlab.SFrame({'id': range(1024)})>>> sf_train, sf_test = sf.random

2016-01-12 18:26:15 397

原创 VirtualEnv安装

下载virtualenvcurl -O https://pypi.python.org/packages/source/v/virtualenv/virtualenv-13.1.2.tar.gz2.解压 tar -zxvf virtualenv-13.1.2.tar.gz 3.安装cd virtualenv-13.1.2python setup.py installpython virtual

2016-01-12 14:02:18 398

原创 vncserver installation

环境: centos 6.41：安装tigervnc-server 服务yum install tigervnc-server2：编辑/etc/sysconfig/vncservers VNCSERVERS=”1:root 2:user” # VNCSERVERARGS[2]=”-geometry 800x600 -nolisten tcp -localhost”3: 启动vnc

2016-01-10 19:49:14 285

原创 Spark 常用api介绍

topval rdd = sc.parallelize(Array(23,67,12,90,8,67))rdd.firstrdd.take(5)//top全局排序，耗内存rdd.top(1)res24: Array[Int] = Array(90)rdd.top(2)res25: Array[Int] = Array(90, 67)sortByKeyscala> wcRdd.sortB

2016-01-10 16:41:29 578

http://conda.pydata.org/docs/install/quick.html#linux-miniconda-installhttp://forum.dato.com/discussion/1554/addressing-sslerror-ssl-certificate-verify-failed-certificate-verify-failed-ssl-c-590Install

2016-01-09 23:08:13 1284

原创 python函数式编程

http://www.cnblogs.com/fnng/p/3699893.html

2016-01-09 17:30:12 476

原创 ipython notebook 远程访问

创建server配置ipython profile create myserver在profile目录下, 编辑ipython_notebook_config.py~/.ipython/profile_myserver/ipython_notebook_config.pyc = get_config()c.NotebookApp.certfile=u'/opt/modules/ML/Python

2016-01-09 16:37:36 3719

原创 ipython notebook

安装sudo pip install ipython AssertionError: Only python 2.7 and later is supported by ptyprocess.升级python 2.6 — python2.7 下载python2.7并编译安装wget https://www.python.org/ftp/python/2.7.8/Python-2.7.8.tg

2016-01-09 14:41:42 527

原创 hbase master 无法启动

删除/tmp/zookeeper的version-2目录和文件

2016-01-01 06:11:48 747

原创 hadoop文件系统的目录结构及datanode不能启动

在做hadoop测试的时候,由于误操作，datanode不能启动了。查询日志也没有错误提示。我们先来看看hadoop文件的元文件目录结构. ├── data │?? ├── current │?? │?? ├── BP-1808523652-192.168.237.128-1451363010425 │?? │?? │?? ├── current │?? │?? │?? │?? ├── f

2016-01-01 05:30:11 734

haoran_gao的博客