百度 Alexand(亚历山大)简单使用教程

原创 2015年07月06日 20:56:46

百度 Alexand(亚历山大)简单使用教程 

亚历山大其实是一个集成的hadoop集群使用的网址是http://ihadoop.baidu.com:8070/ (百度内网才能正常访问)他有自己的hadoop客户端 hadoop-client 和配置文件hadoop-site.xml 还有一个alexapi文件夹,这些文件夹可以在个人的百度网盘中下载 首先将其(需要的文件包括alexapi文件夹和hadoop客户端文件 hadoop-client.tar.gz)下载到自己的测试机器上。然后修改/alexapi/python/conf/alex_conf.py的USERNAME和PASSWORD这两个是百度账号用于搜集结果使用。  

一般要求跟管理员联系在集群上创建一个新的文件夹,检查是否获取了文件权限的方法有./hadoop-client/hadoop/bin/hadoop fs -conf hadoop-site.xml -ls /user/alexander/查看有没有自己的文件夹,没有的话要自己申请。

然后需要自己编写自己的sh文件,这里以运行一个python文件作为例子讲解。要编写 run.sh 脚本 内容为 python helloworld.py。run.sh的作用是运行一个helloworld.py的python脚本。还要有一个helloworld.py的脚本文件 其内容为

#!/usr/bin/env python 

# -*- coding:utf-8 -*

print "RET "+"Hello,World!"+" 0"

文件上传之前一般需要打包 tar zxvf FileName.tar.gz helloworld.py run.sh 。然后将打包的压缩文件上传到已申请好的HDFS上。从本地上传到HDFS上的命令为 ./hadoop-client/hadoop/bin/hadoop fs -conf hadoop-site.xml -copyFromLocal ./自己的文件 /user/alexander/ 添加自己申请的HDFS文件中。

然后就是在http://ihadoop.baidu.com:8070/中的操作了,创建一个新的Alex job 选择normal 创建好了之后一般会有一个JobId用于获取结果。一般仅需修改 step和 user_program_paths step 是{"count":1,"step1":[{"cmd":"export PATH=./python-2.7/bin:$PATH;sh run.sh","ratio":1}]} 这个是首先添加python 2.7的环境,然后启动run.sh。如果使用的python环境时2.7,则需要添加python2.7的路径。user_program_paths是脚本运行依赖的环境,如果自己上传的文件是一个压缩文件(tar.gz)结尾"hdfs://nj01-inf-szwg-ch603.nj01.baidu.com:13261/user/alexander/xuliufeng/wangzhao/panshuangqing.tar.gz#." 前面的是Hadoop集群地址,后面的是自己的文件。还可以添加一些依赖环境。例如"hdfs://nj01-inf-szwg-ch603.nj01.baidu.com:13261/system/share/python27.tar.gz#."集群中的python 2.7压缩文件。设置 round_start,concurrent(自己问写程序的人) 改为希望多少个线程跑自己的程序这个是需要并发跑多少进程。需要自己设定。 最后获取结果 获取结果的命令会在本地生成 result文件 python alexapi/python/client.py getData 唯一的JobId result result 会自动生成本地文件夹 getData参数


希尔伯特:数学世界的亚历山大(2009-06-11 21:33:43)

 希尔伯特:数学世界的亚历山大——出版说明 自中西文明发生碰撞以来,百余年的中国现代文化建设即无可避免地担负起双重使命。梳理和探究西方文明的根源及脉络,已成为我们理解并提升自身要义的借镜,...
  • u010401391
  • u010401391
  • 2015年11月02日 20:14
  • 746

百度富文本编辑器Ueditor的使用

前言最近项目需要集成一个编辑器,于是听从了同事的推荐用的是百度的Ueditor,集成很顺利,本地也很顺利,然后部署到linux上就各种不能用。。。 期间也百度了很多的帖子,但是多数帖子都是使用的旧版...
  • tianxing0412
  • tianxing0412
  • 2016年04月16日 17:53
  • 2424

最新百度开放云平台应用引擎BAE空间使用教程

很多人不知道怎么在百度开放云怎么建立自己的应用。百度云平台在2015年升级后,界面管理方式更方便了,升级后有些人不知道怎么去用。那么先了解一下,百度开放云平台拥有较多的功能,轻应用等,也有开发者服务。...
  • tanghongchang123
  • tanghongchang123
  • 2016年05月19日 14:18
  • 1110

Alex(ALEXANDER的简写,.亚历山大)

以前一直用juky这个英文名,可是后来发现这个名字在国外的名字中没有,只好再为自己改个英文名字,网上看了一篇文章,介绍英文名的,我参考了一下也为自己弄了一个.俺正式宣布俺以后的英文名叫:Alex(AL...
  • juky_huang
  • juky_huang
  • 2006年05月24日 10:10
  • 2651

亚历山大

要得到一些东西,注定要失去一些东西。
  • gaboolic
  • gaboolic
  • 2013年09月30日 22:12
  • 430

导入百度SDK教程

最近很多人关注这个,特地写个教程 1,下载
  • xiaoshixiu
  • xiaoshixiu
  • 2015年11月20日 13:09
  • 1273

百度K站的神奇简单有效的方法

今日网站流量俄然大增 我振奋的有点睡不着觉,再次发一个经历文章,期望对我们有协助,不是做人才网的能够学习下。      我做的网站用的是老域名,因而刚上线流量和排行都是很客观的,可是不到一个月网站就...
  • u014166275
  • u014166275
  • 2014年03月17日 13:51
  • 354

百度api一些接口方法

请输入:                    var search="frm_street";  //定义查询框ID;   var local="广汉市";        ...
  • liuxin_0725
  • liuxin_0725
  • 2017年04月06日 17:30
  • 858

Android_百度地图(一)简单的定位

直接上代码 package com.lrh.hydrant_copy; import com.baidu.location.BDLocation; import com.baidu.location...
  • a411867400
  • a411867400
  • 2015年09月06日 18:49
  • 415

百度的ECharts使用示例

转载地址:http://blog.csdn.net/qq_34378776/article/details/53862723 一直以来我都使用JFrechart框架做图表,这种基于Java的组件...
  • qq_36746815
  • qq_36746815
  • 2018年01月31日 09:32
  • 23
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:百度 Alexand(亚历山大)简单使用教程
举报原因:
原因补充:

(最多只允许输入30个字)