hadoop
miracle_8
vip文章全部取消
展开
-
hadoop源码阅读之代码抽取
com.m.Test.java package com.m; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.lang.management.ManagementFactory; import java.net.InetAddress; import java.net.NetworkInterface; import java.net.Socke原创 2020-06-06 15:11:05 · 192 阅读 · 0 评论 -
hadoop-2.9.2 window 源码编译记录
依赖项 参考hadoop-2.9.2-src/BUILDING.txt * Windows System * JDK 1.8 * Maven 3.0 or later * ProtocolBuffer 2.5.0 * CMake 3.1 or newer path * Visual Studio 2010 Professional or Higher (2010已经足够了) * W...原创 2020-03-30 14:57:51 · 310 阅读 · 0 评论 -
hadoop-3.1.2 Linux 源码编译记录
hadoop-3.1.2 源码编译记录 注: 之前尝试过win环境的编译,但是需要安装的项太多太麻烦,所以换成linux编译,方便快捷 HOME=/home/compile/software 1. 前期依赖项: BUILDING.txt * Unix System * JDK 1.8 * Maven 3.3 or later * ProtocolBuffer 2.5.0 * CMake 3.1 ...原创 2020-03-26 10:22:04 · 348 阅读 · 0 评论 -
Hbase_api
1、 项目结构 2、 说明 代码示例通过getNewRowkey和getNumRowkey产生新的rowkey,即在rowkey前添加hash值,解决了rowkey热点问题。还包括了put,get,scan等操作。 rowkey设计注意点: 1.避免rowkey热点,通过hash、翻转rowkey、组合rowkey等方法可以避免这个问题,尽量避免直接使用time作为rowkey。 2.充分原创 2018-02-06 16:25:30 · 158 阅读 · 0 评论 -
hbase知识点
一、 如何手动切换hdfs的active机器bin/hdfs haadmin -transitionToStandby nn2 --forcemanual (将nn2强制转换为standby)二、 hbase中创建表时,会创建一个region;创建列族时,会创建一个storefile,所以在hdfs中的hbase目录下看到的表名的下一级目录中的是region名,而列名的下一级目录中的是storefi原创 2018-02-03 15:17:07 · 315 阅读 · 0 评论 -
Hadoop压缩流
package com.download;import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; imp原创 2018-01-26 15:47:29 · 203 阅读 · 0 评论 -
Hadoop中的MR的demo-- hadoop 2.7
1、 jar包: 官网的share/hadoop下面的所有目录中的jar包 2、 目录结构 (没有添加配置文件) 3 、代码如下 package com.download; import java.io.IOException; import java.net.URLDecoder; import java.util.StringTokenizer; import org.ap原创 2018-01-19 09:56:58 · 1493 阅读 · 0 评论 -
Hadoop的mr遇到的问题集
一、在reducer或者mapper中添加System.out.println之后,发现在对应日志的stdout中没有输出内容? A: 应该是继承reducer或者mapper之后,重新里面的reduce或map方法的参数错误,没有达到重写的要求: 两个方法的参数个数和类型以及返回值类型都必须一致,子类方法的修饰符不能比父类的修饰符的作用范围小,即父类是protected,子类不能是privat原创 2018-01-24 16:47:34 · 690 阅读 · 0 评论 -
Hadoop基础 (一) 基础介绍
Hadoop基础 (一) 基础介绍1、 组成 a. HDFS (Hadoop Distributed File System) : 海量数据的存储b. MapReduce引擎: 海量数据的离线分析 JobTrackers TaskTrackers2、 HDFS介绍: master-slave模式 client: 从NameNode读取信息,读取DataNode信息 Block: 一个文原创 2017-09-09 15:04:50 · 458 阅读 · 0 评论 -
hadoop介绍(一):hdfs安装和eclipse插件
说明: 1、 本次集群基于hadoop 1.x ,只是hdfs安装机器分配: 角色—–NN—-SNN—-DN node1—-1—————- node2———–1——1 node3——————–1 node4———————1步骤: 1、时间同步 ntpdate -u 时间服务器 网络 hosts 防火墙关闭 selinux关闭 2、jdk1.7 3、上传 解压 4、免秘原创 2017-03-20 23:14:14 · 676 阅读 · 0 评论