hadoop streaming/c++编程指南

1.       Hadoop streaming简介与工作机制     Hadoop streaming可以帮助用户创建和运行一类特殊的Map/Reduce作业, 这些特殊的Map/Reduce作业是由一些可执行文件或脚本文件充当Mapper或者reducer。Mapper和reducer都是可执行文件,它们从标准输入读入数据(一行一行读),并把计算结果发给标准输出。Hadoop Stream...
阅读(966) 评论(3)

hadoop中map和reduce的数量设置问…

map和reduce是hadoop的核心功能,hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算,从这个观点来看,如果将map和reduce的数量设置为1,那么用户的任务就没有并行执行,但是map和reduce的数量也不能过多,数量过多虽然可以提高任务并行度,但是太多的map和reduce也会导致整个hadoop框架因为过度的系统资源开销而使任务失败。所以用户在提交m...
阅读(1118) 评论(2)

虚拟机报错:Unable to open…

原文地址:to open kernel device "\.VMCIDevVMX": 重叠 I/O 操作在进行中.">虚拟机报错:Unable to open kernel device "\.VMCIDevVMX": 重叠 I/O 操作在进行中.作者:Jaimie今天启动虚拟机突然出现: Unable to open kernel device "\.VMCIDevVMX": 重叠 I/O 操作...
阅读(477) 评论(0)

潜在语义分析Latent semantic…

潜语义分析LSA介绍 Latent Semantic Analysis (LSA), also known as Latent Semantic Indexing (LSI) literally means analyzing documents to find the underlying meaning or concepts of those documents. If each word ...
阅读(900) 评论(0)

开源的机器翻译系统

本文介绍了统计机器翻译领域中一些重要的开源软件,包括词语对齐工具、语言模型工具、自动评测工具以及四个完整的统计机器翻译系统。 1. Egypt     Egypt是在1999年约翰霍普金斯大学统计机器翻译夏季讨论班上,由一些研究人员共同合作开发的统计机器翻译工具包。它包括4个模块: 􀂄 Whittle:语料库预处理模块; 􀂄 GIZA:用于从句子对齐的双语语料...
阅读(3413) 评论(0)

C++标准输入函数

1、cin  2、cin.get()  3、cin.getline()  4、getline()  5、gets() 6、getchar() 附:cin.ignore();cin.get()//跳过一个字符,例如不想要的回车,空格等字符 1、cin>>          用法1:最基本,也是最常用的用法,输入一个数字: #include   using namespace std;  ma...
阅读(595) 评论(0)

linux用户权限管理

0.用户 1、建用户: adduser nuoline //新建nuoline用户 passwd nuoline //给nuoline用户设置密码 2、建工作组 groupadd test //新建test工作组 3、新建用户同时增加工作组 useradd -g test nuoline //新建phpq用户并增加到test工作组 注::-g 所属组 -d 家目录 -s 所用的SHELL 4、给...
阅读(19532) 评论(0)

hadoop参数-hdfs-mapred

hdfs-default.html   序号 参数名 参数值 参数说明 1 dfs.namenode.logging.level info 输出日志类型 2 dfs.secondary.http.address 0.0.0.0:50090 备份名称节点的http协议访问地址与端口 3 dfs.da...
阅读(680) 评论(0)

hadoop参数-core-site.xml

三个缺省配置参考文件说明 core-default.html   序号 参数名 参数值 参数说明 1 hadoop.tmp.dir /tmp/hadoop-${user.name} 临时目录设定 2 hadoop.native.lib true 使用本地hadoop库标识。 3 hadoop.h...
阅读(3222) 评论(0)

hadoop端口

HDFS端口   参数 描述 默认 配置文件 例子值 fs.default.name namenode namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/ dfs.http.address NameNode web管理端口 50070 hdf...
阅读(571) 评论(0)

配置hadoop 使用fair sc…

配置步骤为 1. 将$HADOOP_HOME/contrib/fairscheduler/hadoop-fairscheduler-0.20.2-cdh3u5.jar拷贝到$HADOOP_HOME/lib文件夹中 2. 修改$HADOOP_HOME/conf/mapred-site.xml配置文件     property> name>mapred.jobtracker.taskS...
阅读(543) 评论(0)

Hadoop 权限管理

hadoop 权限管理分为:用户分组管理 和 作业管理 1.用户分组管理:hadoop通过组管理用户的行为, 一个组可以是一个pool(一个用户也可以定义一个pool),一个pool会被指定一组调度算法,以优化作业的执行效率。 2.作业管理:hadoop 通过 hadoop-policy.xml中定义的9个属性来限制作业的执行,比如哪些用户和组可以提交job、哪些可以访问HDFS等。 几个概念: ...
阅读(488) 评论(0)

微博求粉丝http://weibo.com/nuoli…

http://weibo.com/nuoline...
阅读(599) 评论(0)

SSTable和日志结构化存储:LevelDB…

如果说Protocol Buffer是谷歌独立数据记录的通用语言 ,那么有序字符串表(SSTable,Sorted String Table)则是用于存储,处理和数据集交换的最流行​​的数据输出格式。正如它的名字本身,SSTable是有效存储大量键-值对的简单抽象,对高吞吐量顺序读/写进行了优化。 不幸的是,SSTable名称本身被业界重载,指代的内容远远超出有序表的概念,这可能与简单有效数据结...
阅读(538) 评论(0)

mysql相关命令

1. 登陆 如果使用自定义的lock文件,配置的lock文件路径为/application/search/Mysql/mysql/mysql.sock,则命令如下:    bin/mysql -u username -p -S /application/search/Mysql/mysql/mysql.sock 2. 导出sql脚本 mysqldump YourDatabaseName --us...
阅读(368) 评论(0)
254条 共17页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:320317次
    • 积分:5256
    • 等级:
    • 排名:第5002名
    • 原创:238篇
    • 转载:16篇
    • 译文:0篇
    • 评论:37条
    博主简介
    《Hadoop核心技术》,《hadoop开源云计算平台》作者,关注云计算,机器学习,信息检索,大数据等。
    新浪微博:nuoline
    个人博客:宅博客
    文章存档
    最新评论