【hadoop】
文章平均质量分 98
CBeann
阿里淘天Java开发工程师,CSDN博客专家,阿里云博客专家,专注于后端技术的分享。如果你迷茫,不妨来瞅瞅码农的轨迹。模拟面试简历辅导、内推加VX:CHAI956056312
展开
-
Exception:Connection to node 0 could not be established. Broker may not be available.
问题:Java调用kafkaAPI写入数据失败,不报错[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version : 0.11.0.2[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka commitId : 73be1e1168f9...原创 2019-12-16 10:04:02 · 3152 阅读 · 0 评论 -
Kafka笔记
Kafka单机版安装注意1)先做一下快照2)注意开发文章中涉及的端口3)注意路径问题,我将软件安装在 /opt/module下,你也可以安装在 /usr/local/下4)centoskafka_2.11-0.11.0.2.tgz zookeeper-3.4.5.tar.gz5)iZm5ea99qngm2v98asii1aZ 是我的主机名6)多开几个控制窗口...原创 2019-07-18 21:47:50 · 321 阅读 · 0 评论 -
Elasticsearch笔记
Elasticsearch与数据库比较 关系型数据库(比如Mysql) 非关系型数据库(Elasticsearch) 数据库Database 索引Index 表Table 类型Type 数据行Row 文档Document ...原创 2019-07-12 12:29:29 · 770 阅读 · 0 评论 -
Sqoop笔记
Sqoop介绍百度: Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。我认为:Sqoop就是将Hadoo...原创 2019-05-27 15:41:16 · 367 阅读 · 0 评论 -
HBase笔记
写作目的:当做自己的HBase笔记本HBase表结构Shell命名进入hbase客户端命名行./bin/hbase shell查看当前库中有哪些表list创建表create 表名称,列族名create "student20190727","info"插入数据put 表命 ,rowkey,columnFamly,键,值put "stu...原创 2019-05-10 10:26:01 · 365 阅读 · 0 评论 -
HBase搭建单机版
环境jdk1.8.0_121hadoop-2.7.2链接:https://pan.baidu.com/s/1vi3TNtnauqd-x0FQkpaZig提取码:ffo9复制这段内容后打开百度网盘手机App,操作更方便哦zookeeper-3.4.5链接:https://pan.baidu.com/s/11DBYKY4js-BUQwNBDPIYvg提取码:2645...原创 2019-05-10 10:23:10 · 6698 阅读 · 3 评论 -
Hive基础操作
Hive基本概念什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序。1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yarn上...原创 2019-04-24 22:18:45 · 331 阅读 · 0 评论 -
Flume笔记
Flume介绍Source 用于采集数据,Source 是产生数据流的地方,同时 Source 会将产生的数据流传输到 Channel, 这个有点类似于 Java IO 部分的 Channel。 Channel 用于桥接 Sources 和 Sinks,类似于一个队列。 Sink 从 Channel 收集数据,将数据写到目标源(可以是下一个 Source,也可以是 HDFS 或者 HBas...原创 2019-05-02 22:24:16 · 612 阅读 · 0 评论 -
Hive安装(图文并茂)
环境阿里云ECS服务器hadoop-2.7.2apache-hive-1.2.1注意、注意、注意:我的hive软件装在 /opt/module/ 下,注意一下下面代码执行的目录前提请记住快照一下,无论文章写的在差,也有人点赞,无论文章写的在好,也还是有人看不懂,如果您没有搭建起来,也不至于毁你的环境请记住快照一下,无论文章写的在差,也有人点赞,无论文章写的在好...原创 2019-04-23 11:05:40 · 892 阅读 · 0 评论 -
MapReduce
MapReduce定义常用数据序列化类型 Java类型 Hadoop Writable类型 boolean BooleanWritable byte ByteWritable int IntWritable float...原创 2019-04-20 20:21:11 · 363 阅读 · 0 评论 -
HDFS常用命令和客户端API操作
注意1)记得快照,快照,快照一下ECS服务器怎么快照?https://blog.csdn.net/qq_37171353/article/details/865338862)参考资料(视频)的问题上面网盘的视频,里面是有教怎么搭建服务器环境和Eclipse客户端环境的,服务器环境搭搭建问题讲的不错,但是客户端环境搭建视频里只讲了win7和win10,也就是说里面的资料是wi...原创 2019-03-17 23:55:59 · 3095 阅读 · 1 评论 -
ECS服务器搭建hadoop伪分布式
前提准备1)阿里云ECS服务器Centos7.52)Xshell或者其他和Linux交互的软件(本文用的Bitvise SSH软件)我用的是Bitvise SSHBitvise SSH下载Bitvise SSH使用 里面有讲SSH软件怎么用3)最好会vim操作(不会也没问题)不会的用软件把需要修改的文件下载下到本地修改完毕后在上传回去覆盖原来的文件4)hadoo...原创 2019-01-18 13:10:48 · 1933 阅读 · 4 评论