hadoop
年月日朝朝暮暮
悟以往之不谏,知来者之可追
展开
-
操作hadoop的基本命令
haddop fs -ls / (查询目录)hadoop fs -mkdir /test (在根目录下创建一个目录test)hadoop fs -put ./test.txt /test (将本地的test.txt文件上传到HDFS根目录下的test文件夹中去) hadoop fs -copyFromLocal ./test.txt /test (同上)h...原创 2019-08-07 11:44:10 · 232 阅读 · 0 评论 -
将namenode的编辑日志和镜像文件变成可读的xml
[root@hlh001 current]# hdfs oiv -p XML -i fsimage_0000000000000000269 -o ./fsimage.xml[root@hlh001 current]# hdfs oev -p XML -i edits_0000000000000000001-0000000000000000002 -o ./edits.xml然后就可...原创 2019-08-19 15:55:37 · 224 阅读 · 0 评论 -
大数据之MapReduce并行算法简单概括
MapReduce重点程序员必须指定:map (k, v) → <k’, v’>*reduce (k’, v’) → <k’, v’>* 所有具有相同key的value被聚集到一起 可选的操作:partition (k’,划分数) → k’的划分 往往使用key的一个简单散列函数, e.g., hash(k’) mod n 为并行redu...原创 2019-08-15 18:06:28 · 1361 阅读 · 0 评论 -
大数据开发之hadoop HA配置
hadoop HA一、原理 HA高可用 存储 当editlog发生变化时,则直接写入JournalNode,以用来分享给其他的NameNode二、安装部署 step1、配置zookeeper step2、配置hadoop hadoop-env.sh core-site.xml...原创 2019-08-23 15:56:46 · 105 阅读 · 0 评论 -
大数据开发之MapReduce常用的调优参数
一、资源相关参数1)以下参数是在用户自己的mr应用程序中配置就可以生效(mapred-default.xml) 配置参数 参数说明 mapreduce.map.memory.mb 一个Map Task可使用的资源上限(单位:MB),默认为1024。如果Map Task实际使用的资源量超过该值,则会被强制杀死。 ...原创 2019-08-28 08:24:18 · 219 阅读 · 0 评论 -
hadoop集群的群起脚本
#!/bin/bashecho "==========================正在开启集群服务=========================="echo "========================正在开启Zookeeper节点========================"for i in admin@hlh001 admin@hlh002 admin@hlh003...原创 2019-09-02 16:37:14 · 434 阅读 · 0 评论