- 博客(14)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 hadoop2-第十二章-Sqoop安装与使用
Sqoop的安装与使用Sqoop介绍Sqoop即 SQL to Hadoop ，是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，Sqoop1和Sqoop2，我们以Sqoop1为案例进行讲解，Sqoop2商用不太稳定。Sqoop工具是Hadoop下连接关系型数据库和Hadoop的桥梁，支持关系型...
2018-06-21 21:52:51
240
原创 hadoop1-实验四-ubuntu-14.04.5-desktop-i386中安装Hbase
ubuntu-14.04.5-desktop-i386中安装Hbase实验环境：1.ubuntu-14.04.5系统2.hbase-1.1.5-bin.tar.gz安装包3.hadoop伪分布式搭建完成一、 安装Hbase 1. 使用传输工具将Hbase安装包发送到Ubutu系统的/home/hadoop/下载 目录下 2. 解压Hbase安装包到/usr/local下 $>sud...
2018-06-21 14:15:05
623
原创 Kafka的安装和简单实例测试
Kafka的安装和简单实例测试一、安装kafka前提：事先将kafka_2.10-0.10.1.0.tgz安装包放入到~/下载目录下。注：kafka的使用依赖zookeeper,安装kafka前必须先安装zookeeper, 下载稳定版本0.10.1.0的kafka.此安装包内已经附带zookeeper,不需要额外安装zookeeper.1. 进入~/下载 目录，查看安装包是否存在$&g...
2018-06-19 09:02:26
693
原创 第十一章-安装Flume(使用Flume操作两个实例)
一、安装Flume1. 解压Flume安装包到/usr/local中$>sudo tar -zxf apache-flume-1.7.0-bin.tar.gz -C/usr/local2. 给Flume文件夹改名$>cd /usr/local$>sudo mv apache-flume-1.7.0-bin/ flume3. 修改flume文件夹的拥有者$&...
2018-06-08 15:06:17
1757
原创 Storm编程实践(安装Maven-使用Maven编译运行代码-mvn 打包)
Storm编程实践(安装Maven-使用Maven编译运行代码-mvn 打包)实验报告（三）《Hadoop数据分析平台II》实验报告 实验名称：Storm编程实践 姓名/学号：甘宇/041540120 日期：18.6.4 实验环境： 操作系统：Linux Hadoop版本：2.6.0或以上版本 Zookeeper版本：3.4.6或以上版本 Storm版本：0.9.6或以上版本 Mav...
2018-06-08 09:44:43
1253
原创 Ubuntu14中安装zookeeper3.4.6和Storm0.9.6
安装Zookeeper1. 解压安装包到/usr/local中2. 修改/usr/local下的zookeeper-版本号文件夹改为zookeeper3. 修改zookeeper文件的拥有者为hadoop用户4. 修改配置文件/usr/local/zookeeper/conf/zoo.cfga. 在zookeeper目录下新建tmp文件b. 将con...
2018-06-07 19:01:17
288
原创 Day04-静态IP设置、克隆虚拟机、Hadoop完全分布式搭建
静态IP设置、关闭防火墙、克隆虚拟机、Hadoop完全分布式搭建静态IP的设置-------------------------- 1.VMware-->编辑-->虚拟网络编辑器-->还原默认配置-->重置网络设置 2.VMware-->编辑-->虚拟网络编辑器-->选中VM8-->关掉DHCP 3.查看网络相关配置： ...
2018-06-07 14:27:57
468
原创 Day06-HDFS的体系结构(namenode作用、datanode作用、block)、fsimage文件、edits文件和checkpoing检查点机制
HDFS的体系结构(namenode作用、datanode作用、block)、fsimage文件、edits文件和checkpoing检查点机制和Namenode开启过程HDFS的体系结构------------------------- 1.namenode[守护进程]作用： 管理文件系统名称空间；【fsimage元数据镜像文件】 管理客户端对文件的访问。【edits操作文件...
2018-06-07 13:08:28
587
1
原创 Day07-hdfs dfsadmin 常用命令-包括手动合并镜像文件(fsimage)与操作文件(edits)，手动滚动操作文件
hdfs dfsadmin 常用命令-包括手动合并镜像文件(fsimage)与操作文件(edits)，手动滚动操作文件手动操作checkpoint----------------------------- 1.安全模式：【开启状态】 $>hdfs dfsadmin -safemode enter //进入 $>hdfs dfsadmin -safemode le...
2018-06-07 13:02:39
2439
原创 如何减少block的数量？也就是减小Namenode的内存压力？
问题：如何减少block的数量？也就是减小Namenode的内存压力？答： 设置dfs.blocksize参数即可，这个参数是设置块的大小，默认是128M，现实应用中可以提高块的大小，如：256M或者512M,这样可以减小快的数量，从而减小Namenode 的内存大小...
2018-06-07 12:54:03
758
原创 nanemnode内存大小有谁决定？
问题：nanemnode内存大小有谁决定？答：由集群中的块的数量决定； 换算规则：默认情况下，每个block大小对应元数据为150字节。 那么，如集群中存在1亿个块文件，元数据大小为1亿*150/1024*1024*1024=14G ...
2018-06-07 12:50:03
301
原创 namenode与secondarynamenode是否放到同一个节点？
1.namenode与secondarynamenode是否放到同一个节点？答：不能。 原因：内存！！！！！单节点内存大小有物理限制。2.现实应用中Namenode和SecondaryNamenode能不能放在一台机器上？ 答案：因为Namenode的内存是它的瓶颈，SecondaryNamenode负责复制edits_*-*和fsimage_txid,然后整合成新的fsimage_文件，并...
2018-06-07 12:48:35
7160
原创 Namenode处于安全模式时，对hadoop进行查看操作，edits_inprogress_txid中没有事物事件的增加，txid没有增加？
1. 问题：Namenode处于安全模式时，对hadoop进行查看操作，edits_inprogress_txid中没有事物事件的增加，txid没有增加？答案：Namenode处于安全模式时，对hadoop不能进行创建、修改，可以对其进行查看，我的理解是因为处于安全模式，一般是为fsimage_镜像文件和edits_***-***操作文件进行整合新的镜像文件做准备，合成新的fsimage...
2018-06-07 12:46:10
1015
原创 在Linux系统中使用java、javac等命令，报错：bash: ./java: cannot execute binary file
问题：在Linux系统中装完jdk(我的是Ubuntu14)，环境变量都配完了，一切都准备结束。使用java命令，报错：bash: ./java: cannot execute binary file 原因：Linux系统是32位的，而安装的jdk版本是64位的。当然运行不了。解决方法：最简单的是重新下载一个32位的jdk，一般32位的jdk文件都带有i586等字样，重新安装jdk，把之前安装的j...
2018-06-07 12:42:33
3609
Sqoop安装与使用
2018-06-21
kafka的安装和简单实例测试
2018-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人