![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据辅助组件
时空鱼
有趣的生活,保持快乐-》
继续旅程,做一个快乐的吃货
展开
-
anxiao的HBase和Mapreduce
14、HBase与MapReduce的集成HBase当中的数据最终都是存储在HDFS上面的,HBase天生的支持MR的操作,我们可以通过MR直接处理HBase当中的数据,并且MR可以将处理后的结果直接存储到HBase当中去需求:读取HBase当中一张表的数据,然后将数据写入到HBase当中的另外一张表当中去。注意:我们可以使用TableMapper与TableReducer来实现从HBase当...原创 2020-01-07 08:47:33 · 1522 阅读 · 0 评论 -
anxiao的HBase的API
HBase的java代码开发熟练掌握通过使用java代码实现HBase数据库当中的数据增删改查的操作,特别是各种查询,熟练运用第二步:开发javaAPI操作HBase表数据1、创建表myuserpublic static void createTable() throws IOException { Configuration conf =new Configuration(...原创 2020-01-06 10:41:06 · 1549 阅读 · 0 评论 -
05.Apache Hbase介绍和使用
hbase 的安装部署1、软件包上传解压2、 配置hbase.env.sh配置java_home使用外部zookeeper(自己独立安装的zookeeper)3、配置 hbase-site.xml见讲义hbase.zookeeper.property.dataDir必须是zookeeper存储数据的路径4、修改regionservers5、创建backup-masters6、拷...原创 2019-12-13 20:19:48 · 2078 阅读 · 2 评论 -
04、Apache Hue与软件的集成
1、Hue集成HDFS注意:修改完HDFS相关配置之后,需要把配置scp给集群中每台集群,重启hdfs集群第一步:修改core-site.xml配置 添加下面代码cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoopvim core-site.xml<!--允许通过httpfs方式访问hdfs的主机名 --><prop...原创 2019-12-10 20:00:57 · 1489 阅读 · 2 评论 -
03、Apache Flume简单案例
案例一:接收telent数据使用网络telent命令向一台机器发送一些网络数据,然后通过flume采集网络端口数据第一步:开发配置文件根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义)配置我们的网络收集的配置文件在flume的conf目录下新建一个配置文件(采集方案)vim /export/servers/apache-flume-1.8.0-bin/conf/...原创 2019-12-06 20:44:34 · 1477 阅读 · 3 评论 -
01、Sqoop的介绍和安装
1.Sqoop安装安装sqoop的前提是已经具备java和hadoop的环境。第一步:上传压缩包解压tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha -C /export/servers第二步:在文件里面添加配置cd /export/servers/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/confmv sqo...原创 2019-11-28 14:43:53 · 1454 阅读 · 3 评论 -
02、Apache Flume概念和安装
一、Apache Flume1、概述Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件Flume的核心把数据从数据源(Source)收集过来,再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在数据送到目的地(sink)后,flume在删除主键缓存的数据。2、运行机制Flume系统中核心的角色是agent,agent本...原创 2019-12-05 09:32:31 · 1427 阅读 · 1 评论