![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 52
铁头乔
公众号:铁头乔
展开
-
hadoop shell执行示例wordcount jar包
创建用户目录bin/hdfs dfs -mkdir -p /user/hadoop创建input目录bin/hdfs dfs -mkdir input导入数据bin/hdfs dfs -put etc/hadoop/*.xml inputHadoop运行程序时,默认输出目录不能存在,删除output文件夹bin/hdfs dfs -rm -r /use...原创 2016-12-30 13:48:55 · 2790 阅读 · 0 评论 -
Hadoop命令行基本操作
Hadoop 重要的端口 1.Job Tracker 管理界面:50030 2.HDFS 管理界面 :50070 3.HDFS通信端口:9000 4.MapReduce通信端口:9001 常用访问页面 1. HDFS 界面 http://hostname:50070 2. MapReduce 管理界面 http://hostname:50030格式化原创 2017-02-06 13:44:42 · 1329 阅读 · 0 评论 -
HDFS 源码阅读(NameNode,DataNode)
NameNodeFSNamesystem// 包括三个守护线程private void initialize(NameNode nn, Configuration conf){ // 心跳监控 this.hbthread = new Daemon(new HeartbeatMonitor()); // 租约管理 this.lmthread = new Daemon(leaseMa...原创 2018-11-23 15:54:57 · 495 阅读 · 0 评论 -
Hbase 单机安装部署
下载:https://www.apache.org/dyn/closer.lua/hbase/配置项conf/hbase-env.shexport JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_112.jdk/Contents/Home# 使用内置 Zookeeperexport HBASE_MANAGES_ZK=true...原创 2019-03-04 14:59:54 · 888 阅读 · 0 评论 -
mac安装配置hive2.0
参考http://blog.csdn.net/cds86333774/article/details/51135954 http://blog.csdn.net/an342647823/article/details/46048403 http://andrewliu.in/2015/04/25/Mac%E4%B8%8B%E5%AE%89%E8%A3%85Hive%E5%8F%8A%E4%BD%原创 2017-02-17 11:46:35 · 1425 阅读 · 0 评论 -
Avro文件操作示例代码
从avsc中读取schema从Sequence file中反序列化avro数据读取hdfs上的avro的schema和数据原创 2017-05-20 10:27:36 · 2789 阅读 · 0 评论