大数据
文章平均质量分 80
y_hai_yang
你的现在,是你过去的选择和行为造就的。而你的将来,则是你现在的选择决定的。
展开
-
java操作HBase进行数据的添加和查询
最近项目中使用了hadoop,这里记录一下使用java操作HBase的一些代码供读者参考.这里需要提到一位大神,就是我们的老总,看了他的博客确实获益良多,这里贴出他的博客链接,各位读者可以看看,相信你肯定能学到一些有用的东西. http://my.csdn.net/yinwenjie?locationNum=0&fps=1好了,进入今天的正题:使用这边博文的代码必须建立在,你的hadoop...翻译 2018-01-05 14:25:00 · 7489 阅读 · 6 评论 -
本地上传文件到服务器HDFS系统上
这里使用的是CDH 5.13.0分布式系统在网上搜集了很久,找到一套能上传文件的java代码package com.data.sysatem.crawler;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.InputStrea...原创 2019-02-19 17:14:18 · 2721 阅读 · 0 评论 -
Mapreduce学习记录---从hbase中读取数据,写入mysql中
在网上搜了一下,找到一篇博文讲了关于如何将hbase中的数据读取出来写入mysql中,这里做一下记录.参考博文: 参考博文看网上的博文,自己做了一下小改动.这里是自定义的类,map和reduce中都会使用到,作为输入输出的类型,这里的write和readFields方法可以优化,不然一个对象有上百个字段,就要写死了.这里提供了一种方法.package mapreduce;...原创 2019-01-04 15:46:11 · 1443 阅读 · 0 评论 -
学习使用kettle链接hive数据库
最近在学习数据仓库.根据一篇文章一步一步建立一套完整的数据仓库(基于hadoop),先学习了ETL工具kettle这里记录一些使用的情况(踩的坑),供以后回过头来看. 首先,当然是下载kettle工具了...点击下载kettle工具,这里拿最新的版本7.1来举例.下载后,直接解压就可以使用了.但如果想链接hive还是很难受的.公司搭建了一套hadoop的环境,所有我就没有自己搭...原创 2018-11-13 16:20:25 · 5522 阅读 · 0 评论 -
kafka单机版本配置连接
1,下载并安装kafka可以通过下面连接下载kafka :下载kafka2,下载后,解压到指定目录我下载的kafka我喜欢放在虚拟机的下载目录下面.解压也需要修改相应的目录,解压代码:sudo tar -zxf ~/下载/kafka_2.11-1.0.1.tgz -C /usr/local 前面的sudo命令如果你使用的是管理员用户就不需要加,但加上没有影响.解压后,如果觉得每次写路径kafka...原创 2018-03-26 14:23:34 · 2170 阅读 · 2 评论 -
本地主机操作虚拟机中的hadoop+hbase+自带zookeeper
1 安装虚拟机及hadoop环境. 项目中需要使用hbase来储存数据,所以在电脑上安装了一个虚拟机来搭建一个hadoop环境研究hbase.这里记录一下从零到有的一个过程.1.1 虚拟机的安装和hadoop+hbase的搭建 下载安装好虚拟机,这里我使用的是VMware Workstation虚拟机和centos7系统.这里就不赘述虚拟机的安装和系统的安装了,...原创 2018-03-15 13:36:42 · 1710 阅读 · 0 评论 -
java在window系统上使用mapreduce操作hbase数据库
项目要使用大数据环境,hadoop,所以研究了一下mapreduce,这里记录一下window想要操作hadoop,需要配置环境,1,下载hadoop.2.6.5版本(主要是我操作的是2.6.5版本),解压后配置环境变量.这里的操作和配置java变量差不多. 需要配置HADOOP_HOME,和PATH这两个变量.贴出我的变量配置 2,要在 Eclipse 上编译和运行 MapR...原创 2018-03-08 18:48:21 · 561 阅读 · 0 评论 -
java操作hdfs文件系统上的文件
项目中需要把消息写到hdfs文件系统中去,所以看了一下如何通过java来操作hdfs文件,这里记录一下.不过效果不是很满意.需要优化的地方还很多,希望博客大神能指导一下.下面是基本操作工具类package testHbase2.common.util;import java.io.IOException;import java.net.URI;import org.apache.hado...原创 2018-03-08 11:48:54 · 642 阅读 · 0 评论 -
springboot框架中使用java操作kafka获取数据
因为项目里面我只写了从kafka获取数据,所以这里就贴出我的代码来供有需要的读者参考,至于如何写kafka的操作,只有等我研究后再写出来了.并且网上有大量的例子还是可以的第一种方法,这种方法更繁琐点.第二种相对简单点.我使用的是springboot工程引入jar包<dependency> <groupId>org.apache.kafka</groupId...翻译 2018-01-05 14:48:32 · 9076 阅读 · 0 评论 -
Spark读取hbase表中数据
pom.xml<dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-hadoop</artifactId> <version>2.0.2.RELEASE</version> &a原创 2019-02-20 17:10:01 · 1375 阅读 · 0 评论