![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 77
graceful coding
数值模拟研究生 掌握java/python/scala/c#/c++/golang/fortran/matlab/前端等语言 有一个冬奥会的项目已结束 人民交通出版社实习已结束 框架netty vue springmvc/springboot/mybatis hadoop flink spark hbase hue colly zookeeper hive azkaban容器化技术:k8s docker kubesphere中间件:kafka rabbitmq java深层:jvm juc数据库:mysql postgresql sqlserver es redis
展开
-
springboot整合postgre和hbase实现互相交互功能
此项目是一个小测试,将postgre中的某些字段读取到hbase中变成某个表的列族,其中postgre和hbase已经在云服务器上建立好,用的docker技术,开放相应端口,并且win上用管道安全连接。此项目用到了JPA技术,实现entity和postgre数据库的交互。首先要加入相应的依赖: <parent> <groupId>org.springframework.boot</groupId> <artifactId&原创 2021-01-08 11:28:55 · 315 阅读 · 0 评论 -
SpringBoot整合HBase将数据写入Docker中的HBase
在之前的项目里,docker容器中已经运行了HBase,现将API操作HBase实现数据的增删改查通过SpringBoot整合Hbase是一个很好的选择首先打开IDEA,创建项目(project)时选择Spring Initializer选择如下三种来创建工程创建完后的pom文件如下(修改了spring-boot-starter-parent版本),并且加入了HBase的客户端依赖<?xml version="1.0" encoding="UTF-8"?><project原创 2020-12-22 18:31:48 · 500 阅读 · 0 评论 -
docker中部署hadoop、zookeeper、hbase伪分布式并上传到阿里云远程仓库
(1)首先写好dockerfile文件,然后使用docker build命令进行创建镜像,这时候出来的镜像内部只有centos基础环境与hadoop和jdk的安装包和一些基础的用户组配置(2)以端口映射的形式进入容器并将相关的配置文件进行修改(3)开启hdfs yarn服务...原创 2020-12-17 10:12:02 · 945 阅读 · 1 评论 -
用java程序操作hadoop,intellij IDEA和maven的使用
如果用hadoop直接操作,还要学一些专门的hadoop指令,其实也可以用java代码来操作hadoop首先电脑上安装intellig IDEA,notepad++,之前开启的hadoop集群(三台linux虚拟机)首先,在windows下设置hadoop环境:红线的两个是至关重要的文件,否则在执行java_api时会报错接下来设置环境变量:在path里添加路径:接下来安装maven,我这里安装的是最新版本的maven官网如下:http://maven.apache.org/downl原创 2020-11-21 16:29:12 · 468 阅读 · 0 评论 -
sqoop——将mysql数据库的数据表导入到hdfs上
sqoop是用来将mysql数据库上的内容导入到hdfs,或者将hdfs上的数据导入mysql的(相互之间转化)一个工具。前提:开启hdfs、yarn服务,关闭safe模式(1)首先,在mysql上创建测验表:(2)检查是否开启任务(3)使用命令将表插入:ps:命令为sqoop import 后面跟要连接的mysql地址和数据库,后面写上mysql名称和密码,再加上表名,最后m后面跟的数字表示拆成几个MR任务,此次我选择一个。(4)验证结果用yarn可视化查看MR任务成功:如果原创 2020-10-12 21:56:26 · 2032 阅读 · 0 评论