Hadoop
文章平均质量分 52
铁头乔
公众号:铁头乔
展开
-
hadoop shell执行示例wordcount jar包
创建用户目录 bin/hdfs dfs -mkdir -p /user/hadoop 创建input目录 bin/hdfs dfs -mkdir input 导入数据 bin/hdfs dfs -put etc/hadoop/*.xml input Hadoop运行程序时,默认输出目录不能存在,删除output文件夹 bin/hdfs dfs -rm -r /use...原创 2016-12-30 13:48:55 · 2801 阅读 · 0 评论 -
Hadoop命令行基本操作
Hadoop 重要的端口 1.Job Tracker 管理界面:50030 2.HDFS 管理界面 :50070 3.HDFS通信端口:9000 4.MapReduce通信端口:9001 常用访问页面 1. HDFS 界面 http://hostname:50070 2. MapReduce 管理界面 http://hostname:50030格式化原创 2017-02-06 13:44:42 · 1344 阅读 · 0 评论 -
HDFS 源码阅读(NameNode,DataNode)
NameNode FSNamesystem // 包括三个守护线程 private void initialize(NameNode nn, Configuration conf){ // 心跳监控 this.hbthread = new Daemon(new HeartbeatMonitor()); // 租约管理 this.lmthread = new Daemon(leaseMa...原创 2018-11-23 15:54:57 · 503 阅读 · 0 评论 -
Hbase 单机安装部署
下载:https://www.apache.org/dyn/closer.lua/hbase/ 配置项 conf/hbase-env.sh export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_112.jdk/Contents/Home # 使用内置 Zookeeper export HBASE_MANAGES_ZK=true...原创 2019-03-04 14:59:54 · 900 阅读 · 0 评论 -
mac安装配置hive2.0
参考http://blog.csdn.net/cds86333774/article/details/51135954 http://blog.csdn.net/an342647823/article/details/46048403 http://andrewliu.in/2015/04/25/Mac%E4%B8%8B%E5%AE%89%E8%A3%85Hive%E5%8F%8A%E4%BD%原创 2017-02-17 11:46:35 · 1433 阅读 · 0 评论 -
Avro文件操作示例代码
从avsc中读取schema 从Sequence file中反序列化avro数据 读取hdfs上的avro的schema和数据原创 2017-05-20 10:27:36 · 2795 阅读 · 0 评论