2015年04月_firefaith

08月 07月 06月 05月 04月 01月

原创【Hive 入门3】Streaming

简介Hive Streaming类似Hadoop Streaming技术，可以将使用脚本来处理数据，在hadoop streaming中,map/reduce用脚本如shell，python等替代，在hive streaming中，读取数据可以用脚步替代。例子 MovieLens User Ratings创建数据表udata.sqlCREATE TABLE u_data ( userid INT

2015-04-25 09:50:52 1971

原创 Hive安装

具体参考Hive Getting Started0 前置条件Linux ：CentOS/Ubuntu JDK 已安装 Hadoop 已安装1 安装tarball，配置环境变量$ tar -xzvf hive-*-.tar.gz $vim /etc/profile 后者 vim ~/.bashrc 添加 export HIVE_HOME=/your/path export PATH=

2015-04-24 15:15:58 757

原创 mobaxterm apt-get apt-cyg install error

Error：MD5 sum did not match, exiting替换 md5验证为sha512验证vim /usr/bin/apt-cyg%s/md5sum/sha512sum/g

2015-04-22 17:43:54 2380

原创 Python class

参考：https://docs.python.org/2/tutorial/classes.htmlclass MyClass: """A simple example class""" i = 12345 def f(self): return 'hello world'调用属性：MyClass.i 调用函数：MyClass.f 打印注释：MyClass

2015-04-16 17:05:04 449

转载 The Zen of Python

在python shell中，输入import this，会显示The Zen of Python, by Tim PetersBeautiful is better than ugly.Explicit is better than implicit.Simple is better than complex.Complex is better than complicated.Flat

2015-04-16 14:24:04 430

安装一般linux系统默认都安装python,在终端键入python检查是否已经安装成功，若没有，用yum安装。 yum install python27 python27-develhelloworld脚本键入python，可以在python的shell下运行print "hello world"，也可以通过python脚步运行。vim helloworld.py#! /usr/bin/pyth

2015-04-14 15:53:12 386

原创 CentOS 安装WordPress

安装LAMP安装Apahce, PHP, MySQL以及php连接mysql库组件。 yum -y install httpd php mysql mysql-server php-mysql 安装apache扩展 yum -y install httpd-manual mod_ssl mod_perl mod_auth_mysql 安装php的扩展 yum -y in

2015-04-13 11:51:51 449

原创 Mahout kmeans

Created with Raphaël 2.1.2开始随机选k个中心(初心)判断n属于哪个中心(归簇)重新计算簇内的中心(新心)新旧中心偏差不大，或迭代次数已满结束yesno

2015-04-08 09:52:16 505

原创 Mahout安装

Mahout安装目录Mahout安装目录简介下载09版本解压配置文件测试简介Mahout 是基于hadoop/spark的机器学习框架,具体分为推荐引擎(recommender engines)，聚类分析(clustering)，分类(classifaction)下载0.9版本wget http://mirrors.cnnic.cn/apache/mahout/0.9/mahout-di

2015-04-07 11:18:42 542

原创 Hadoop Combiner 使用问题

本想通过combiner减少输入到reduce的数据，但是使用过程中总发生问题。后来看权威指南，才知道，combiner是会反复调用的，即可能两个combiner一次后，将结果再传给一个combiner；所以写combiner一定要输入和输出格式相同，并不是同reducer相同就可以，reducer的输入和输出格式是未必相同的。mapper1 -> combiner1map

2015-04-04 06:55:35 651

原创 Warn : Hadoop No job jar file set.

集群部署了mapreduce1，自己写了一个job，打包成jar，然后运行，怎么也不同过，一直报错：Nojob jar file set网上找了很多，都不是：结果是jar放在了/root/目录下，没权限读jar，放到/opt/下就解决了网上一般都出错在job代码中没加：job.setJarByClass(YouJob.class);

2015-04-03 20:38:37 1076

翻译 Hadoop MR1 安装配置

具体参考http://hadoop.apache.org/docs/r1.2.1/cluster_setup.htmlMRv1 的配置在Yarn推出之后，本身并没有改变。所以参考老版本的hadoop，还是必要的。目的本文涉及：安装、配置、管理 Hadoop 集群。PrerequisitesMake sure all required soft

2015-04-01 13:12:56 864

WeiboSDK_API-V2.4.0 新浪微博sdk手册

新浪微博api，供开发者查阅，感谢新浪微博大力支持。

2013-12-29

3000句句义结构标注语料1

用于分析NLP，自然语言处理，网络资源大家共享一下。

2013-10-21

ado参考手册程序员必备

ADO 程序员参考 ADO 支持用于建立基于客户端/服务器和 Web 的应用程序的主要功能。其主要优点是易于使用、高速度、低内存支出和占用磁盘空间较少。ADO 同时具有远程数据服务 (RDS) 功能，通过 RDS 可以在一次往返过程中实现将数据从服务器移动到客户端应用程序或 Web 页、在客户端对数据进行处理然后将更新结果返回服务器的操作。有关 ADO 的详细信息，请参阅 ADO 概述。请在 http://www.microsoft.com/data/ado 中参阅 Microsoft 有关 ADO 发布说明的 Web 页。 ADO Extensions for DDL and Security (ADOX) 程序员参考 ActiveX Data Objects Extensions for DDL and Security (ADOX) 将 ADO 扩展为包括创建、修改和删除模式对象，如表格和过程。它还包括安全对象，用于维护用户和组，以及授予和撤消对象的权限。有关 ADOX 的详细信息，请参阅 ADOX 概述。请在 http://www.microsoft.com/data/ado 中参阅 Microsoft 有关 ADOX 发布说明的 Web 页。 ADO MD 程序员参考 ActiveX Data Objects (Multidimensional) (ADO MD) 将 ADO 扩展为包括指定到多维数据的对象，并允许浏览多维模式、查询立方和检索结果。有关 ADO MD 的详细信息，请参阅 ADO MD 概述。请在 http://www.microsoft.com/data/ado 中参阅 Microsoft 有关 ADO MD 发布说明的 Web 页。

2009-04-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

firefaith的专栏