hadoop
silentanytime
既然选择了远方,就别怕风雨兼程,坚持走下去!
展开
-
hdfs简介(一)
hdfs特点1 流式的访问数据hdfs是一个部署在廉价硬件上的分布式文件系统,以流的方式访问文件系统中的数据2 硬件故障 hdfs系统由数百货数千个存储这文件数据片段的服务器组成,每一个部分都有可能出现故障,这就意味着HDFS里的一些组成部分总是失效的,因此故障的检测和自动快速恢复是HDFS一个核心的结果目标3 简单一致性模型大部分的HDFS程序对文件的操作需要一次写原创 2016-03-07 22:02:15 · 371 阅读 · 0 评论 -
hadoop命令汇总
1 安全模式命令hadoop dfsadmin -safemode value.。 value的值可以为:enter 进入安全模式leave 强制离开安全模式get 返回安全模式是否开启信息wait 等待,一直到安全模式结束2 hdfs命令hadoop fs -mkdir 创建文件夹 hadoop fs -ls 查看文件列表hadoop fs -put原创 2016-03-08 21:53:40 · 314 阅读 · 0 评论 -
用Ambari安装hdp2.4错误汇总
主机验证需要注意的问题问题一: 主机命名格式 主机名的格式必须是xxx.xxx.xxx 或者xxx.xxx, 否则在主机验证那一步就报错 not reachable。问题二: openssl版本低,报如下错误 需下载最新的版本,下载地址 http://pkgs.org/centos-6/centos-x86_64/openssl-1.0.1原创 2016-04-10 10:27:38 · 1881 阅读 · 0 评论 -
大数据工程师学习大纲汇总
最近有不少同事朋友问我,学习大数据应该学习哪些技能,我查阅相关资料,做了个大体汇总,方便感兴趣的读者阅读。 大数据工程师技能图谱大数据通用处理平台SparkFlinkHadoop分布式存储HDFS资源调度YarnMesos机器学习工具MahoutSpark MlibTensorFlow (Google 系)Amazon原创 2016-04-17 08:47:26 · 1344 阅读 · 0 评论 -
sqoop1.4.6+hadoop2.6.2安装
1 下载sqoop安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha(注意这里有个版本说明sqoop1.4.x 为sqoop1,sqoop1.9.XX为sqoop2)并解压 2 配置环境变量 并 编辑 sqoop-env.sh配置文件 (conf目录下)添加 3 编辑configure-sqoop文件 (bin目录下) 注释下面的内容4 这一步是原创 2016-04-22 14:18:48 · 442 阅读 · 0 评论