- 博客(165)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 大数据技术之DataX （二）DataX之opentsdbwriter插件开发
大家好，我是脚丫先生 (o^^o)大数据项目之数据集成模块，按照项目需求需要集成时序数据库OpenTSDB。于是着手进行调研，https://github.com/alibaba/DataX发现关于该时序数据库的插件只有单一的读插件，而阿里自研的TSDB读写插件都齐全。为了彻底的分离，同时为了完全适配OpenTSDB数据库，于是进行了OpenTSDB的写插件开发。文章目录一、OpenTSDB时序数据库二、使用步骤1.引入库2.读入数据总结一、OpenTSDB时序数据库官方描述：OpenTSDB
2022-02-10 17:22:55
1829
原创 kafka小笔记
文章目录一、kafka命令1.查看所有主题2.创建主题3.查看topic详情4.查看所有topic详情5.删除topic6.消费topic7.生产者topic二、彻底删除kafka的topic二、kafka中的acks参数一、kafka命令进入到kafka目录的bin下：1.查看所有主题./kafka-topics.sh --list --zookeeper zk:21812.创建主题./kafka-topics.sh --create --zookeeper zk:2181 --repli
2021-12-17 11:02:20
336
原创 大数据运维 (五) docker搭建图数据库nebula适配国产化服务器
大家好，我是脚丫先生 (o^^o)nebula图数据库需要搭建在国产化中标麒麟服务器，自己翻山越岭查阅官方文档，同时也在官方技术人员的耐心指导下，得到了适配国产化系统的技术路子。下面进行阐述搭建过程，希望能帮助到大家。文章目录一、nebula图数据库国产化适配二、适配基础1.在国产化服务器里搭建docker环境2.适配步骤3.服务连接一、nebula图数据库国产化适配Nebula 是一个分布式、可扩展的图数据库。它是世界上唯一能够容纳具有数十亿个顶点（节点）和数万亿个边缘的图数据库解决方案，同时
2021-11-05 15:31:34
2045
4
原创 大数据技术之DataX （一）DataX插件开发
文章目录一、背景二、基于java的本地测试datax2.1 github上下载datax的源代码2.2 datax代码导入idea三、docker安装南大通用数据库GBase和GBase 8a3.1 docker安装Gbase 8a3.2 docker安装Gbase 8s三、南大通用数据库GBase 8s To GBase 8a3.1 GBase 8s的reader读插件开发（writer同理）四、南大通用gbase可视化工具4.1 南大通用GBase 8a的连接配置4.2 南大通用GBase 8s的
2021-10-12 17:19:24
7718
3
原创 Java基础+集合+多线程+JVM 面试题总结
大家好，我是脚丫先生 (o^^o)最近系统的总结了前辈们的各种面试题，站在巨人们的肩膀上真是看得远，我想只有对前辈们的知识进行自我的优化与吸收，才能形成适合自己的一份笔记。文章目录一、 Java 基础1.1 面向对象和面向过程的区别1.2 Java 语⾔有哪些特点?1.3 关于 JVM JDK 和 JRE 最详细通俗的1.3.1 JVM1.3.2 JDK 和 JRE1.4 Java 和 C++的区别?1.5 字符型常量和字符串常量的区别?1.6 构造器 Constructor 是否可被
2021-09-23 15:18:12
665
2
原创 大数据运维 (三) docker搭建分布式图数据库nebula
大家好，我是脚丫先生 (o^^o)最近在做数据融合分析平台。需要搭建一个分布式图数据库，第一想法就是面向百度和官网搜索，但是大多数只看到单节点搭建，分布式搭建都是基于k8s。自己不想那么把项目搞这么重，于是考利用docker-compose进行分布式搭建。下面进行阐述搭建过程，希望能帮助到大家。文章目录一、图数据库nebula二、集群规划2.1 spark1节点的docker-compose2.2 spark2节点的docker-compose(配置与spark1同理)2.3 spark3节点的do
2021-09-17 01:07:54
667
6
原创 大数据运维 (一) Hadoop完全分布式环境搭建
文章目录一、准备工作1.1 安装VMware并设置网络1.2.安装centos虚拟机(这里就不详细说了，网上太多了)1.3 虚拟机配置（三台虚拟机同理）一、准备工作1.1 安装VMware并设置网络下载vmvare软件，配置NAT网络模式。NAT是网络地址转换，是在宿主机和虚拟机之间增加一个地址转换服务，负责外部和虚拟机之间的通讯转接和IP转换。1.2.安装centos虚拟机(这里就不详细说了，网上太多了)安装完后克隆虚拟机，产生三台虚拟机共集群使用。三台虚拟机的ip：192.168.23
2021-09-12 23:48:06
539
原创 大数据运维 (二) harbor的镜像迁移
大家好，我是脚丫先生 (o^^o)在大数据运维中，遇到一个问题：之前的Harbor是搭建在科研网，而现在的Harbor是搭建在办公网。两边的网络是不联通的(无法互相ping通)，要把老的Harbor仓库里的镜像迁移到现有的Harbor仓库。如何去做呢？文章目录一、迁移思路二、本地虚拟机中转三、参考一、迁移思路(1) 可以把Harbor仓库里的镜像全部pull下来，打包成镜像，之后导入现有Harbor仓库所在的服务器，修改tag标签，最后push到仓库。(2) 利用本地的虚拟机作为中转，编写脚
2021-09-09 17:21:09
2002
原创 大数据Hadoop（四）HDFS的Java API操作(2)
大家好，我是脚丫先生 (o^^o)紧接着前文说到HDFS的API操作，我们今天针对HDFS的API操作进行详细解说。好了，我们开始今天的正文。文章目录一、HDFS 的 Java API 操作二、搭建开发环境三、FileSystem实例获取讲解四、 HDFS常用Java API代码一、HDFS 的 Java API 操作HDFS 在生产应用中主要是客户端的开发，其核心步骤是从 HDFS 提供的 API 中构造一个 HDFS 的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS 上的文件
2021-09-05 21:45:57
476
原创 大数据Hadoop（三）HDFS的Java API操作(1)
大家好，我是脚丫先生 (o^^o)前面介绍了HDFS的基本概念，那么接下来就对HDFS分布式文件系统进行实践。好了，我们开始今天的正文。文章目录一、HDFS的shell(命令行客户端)操作二、HDFS的java api操作一、HDFS的shell(命令行客户端)操作1．基本语法bin/hadoop fs 具体命令 或者 bin/hdfs dfs 具体命令2．命令大全$ bin/hadoop fs [-appendToFile <localsrc> ... &l
2021-09-01 00:07:16
615
2
原创 大数据Hadoop（二）HDFS基础入门
大家好，我是脚丫先生 (o^^o)今天废话不多说，我们开始今天的正文。文章目录一、HDFS的介绍1.1 HDFS分布式文件系统1.2 HDFS设计思路1.3 HDFS架构1.4 特性二 HDFS优缺点2.1 优点2.2 缺点三、HDFS不适合存储小文件一、HDFS的介绍1.1 HDFS分布式文件系统随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操 作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分
2021-08-31 17:32:20
383
原创 大数据Hadoop（一）Hadoop整体介绍
大家好，我是脚丫先生 (o^^o)在大数据和后端开发的路上不知不觉已经走了两年了，想持续认真输出博客，虽然没有其他博主那么深厚的功力，但是也想把自己之前学习的大数据知识，通过博客的方式进行叙述，同时也是一种对大数据基础知识的复习，正所谓万丈高楼平地起，在今后，不管转项目经理或者架构师，都需要扎实的相关技术，才能收服少年们。好了，我们开始今天的正文。文章目录零、三大重要海量数据面试题：一、Hadoop的快速入门1.1、数据1.2、大数据1.3、大数据的特点1.4、大数据核心技术二、Hadoop产生
2021-08-29 17:30:36
1452
2
原创 大数据技术之DataX
大家好，我是王玉Student (o^^o)在日常大数据生产环境中，经常会有集群数据集和关系型数据库互相转换的需求，在需求选择的初期解决问题的方法----离线数据同步工具/平台就应运而生了，小伙伴们可先收藏后慢慢研究。小伙伴们如果觉得文章不错，点赞、收藏、评论，分享走一起呀，记得给俺来个一键三连~~好了，我们开始今天的正文。文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也
2021-07-19 17:13:40
698
原创 Azkaban安装部署及基础使用
文章目录一、Azkaban安装部署1. 前置环境2. Azkaban编译3. 配置azkaban数据库4. 部署Azkaban-Web-Server(1) 部署azkaban web server(2) 配置Azkaban-Web-Server(3) 启动服务5 部署Azkaban Exec Server二、Azkaban示例一、Azkaban安装部署Azkaban官网: https://azkaban.github.io软件下载地址: https://github.com/azkaban/azk
2021-06-18 18:00:07
724
原创 java开发小问题总结
文章目录一、java中年月日比大小二、java使用new Date()和System.currentTimeMillis()获取当前时间戳三、 解决java前台传递时间到后台相差8个小时的时区问题一、java中年月日比大小方法一：用毫秒比较，虽然是伪毫秒，但是相当精确String date1 = "2007-10-12 18:35:00";String date2 = "2008-10-12 18:35:00";String pattern ="yyyy-MM-dd hh:mm:ss";Simp
2021-05-10 13:42:54
780
1
原创 ZooKeeper分布式协调组件的投票选举
文章目录一、ZooKeeper介绍二、ZooKeeper提供了什么三、ZooKeeper投票一、ZooKeeper介绍ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务，比如分布式同步，配置管理，集群管理，命名管理，队列管理。它被设计为易于编程，使用文件系统目录树作为数据模型。服务端跑在 Java 上，提供 Java 和 C 的客户端 API。众所周知，协调服务非常容易
2021-04-11 16:06:47
258
原创 airflow系列教程(八) Airflow1.10.6版本的java封装工具类
文章目录前言一、airflow的java工具类前言在使用airflow的时候，还没有升级到2.0，官方给的也是实验API，不足以满足工作中的需要。因此对airflow1.10.6版本的进行了java封装一、airflow的java工具类public class AirflowUtils { private static Logger logger = LoggerFactory.getLogger(AirflowUtils.class); /** * 功能：Airfl
2021-04-03 22:12:08
934
原创 Hive面试题总结
文章目录前言一、Hive1. Hive 表关联查询，如何解决数据倾斜的问题？2. 谈一下 Hive 的特点，Hive 和 RDBMS 有什么异同3. 请说明 hive 中 Sort By，Order By，Cluster By，Distrbute By各代表什么意思4. Hive 有哪些方式保存元数据，各有哪些特点5. Hive 内部表和外部表的区别6. Hive 的 HSQL 转换为 MapReduce 的过程7. Hive 中的压缩格式TextFile、SequenceFile、RCfile 、ORCfil
2021-03-30 11:57:21
1098
2
原创 hadoop面试题总结
文章目录前言一、基础二、使用步骤1.引入库2.读入数据总结前言根据参考的各大面试题进行总结，并且不断更新。希望能帮助大家一、基础简述hadoop安装1）使用 root 账户登录2）修改 IP3）修改 host 主机名4）配置 SSH 免密码登录5）关闭防火墙6）安装 JDK7）解压 hadoop 安装包8）配置 hadoop 的核心文件 hadoop-env.sh，core-site.xml , mapred-site.xml ，hdfs-site.xml9）配置 hado
2021-03-21 20:58:07
860
2
原创 hive快速学习指南
文章目录前言一、Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.3 Hive架构原理1.4 Hive运行机制二、Hive的操作2.1 Hive表——内部表、外部表、分区表的创建2.2 将数据文件加载(导入)到Hive表中三、Hive函数3.1 系统内置函数：3.2 系统内置常用函数：3.3 自定义函数3.4 自定义UDF函数3.5分析函数3.6 转列函数四、综合案例4.1 利用HQL去做统计总结前言Hive数据仓库在Hadoop的生态家族中占有及其重要的地位，并且实际的业务当中用的也
2021-03-11 11:13:50
445
4
原创 airflow系列教程（一）Airflow作业调度平台
很幸运，能参加公司产品组的数据中台项目研发，在离线业务中，针对ETL任务的调度，以及拖拽脚本，使用的是Apache公司开源的调度平台Airflow进行封装。文章目录前言一、Airflow介绍二、Airflow 的 Web 界面1. 选中其中一个DAG三、Airflow中的作业和任务1. DAG2. Task四、Airflow的调度时间五、Airflow的调度方式1.调度方式六、作业操作框七、Airflow 的 菜单栏界面1. 池2.连接3.XComs4.变量总结前言随着离线业务的逐渐发展，定时调度
2021-03-10 17:00:31
1500
原创 airflow系列教程(六) 在Portainer上进行Airflow的容器化部署
文章目录前言一、portainer的介绍查询当前有哪些Portainer镜像下载镜像单机版运行二、 Airflow的镜像包三、portainer平台上部署airflow总结前言通过轻量级容器管理工具portainer对airflow进行部署一、portainer的介绍Portainer是Docker的图形化管理工具，提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作（包括上传下载镜像，创建容器等操作）、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理
2021-03-10 14:57:46
271
原创 airflow系列教程(七) 使用docker-compose进行Airflow的容器化部署
经过前面章节可视化工具搭建airflow容器，虽然有非常直观，但是在真实的内网环境中，往往会没有端口与互联网进行映射，所以非常有必要知道docker-compose的方式进行airflow容器化部署文章目录前言一、Airflow的镜像包二、docker-compse文件三、部署airflow总结前言采用docker-compose的方式进行ariflow的容器化部署，非常方便的一键启动，并且使用local模式运行一、Airflow的镜像包airflow1.10.6版本的tar包以及相关文件上
2021-03-10 09:50:30
1484
原创 数学建模视频资源分享
文章目录前言一、我的数学建模二、分享建模视频前言数学建模之经历一、我的数学建模 一直以来，只是把CSDN作为记录学习和工作时候的笔记，时间了长了，回头一想也是有了感情的地方。 时光飞逝，今儿与师弟闲谈数学建模之时，回想研究生读了三年，也参加三年的数学建模，经历了网络挑战赛、美赛、国赛等。尤记得，入学的时候，老板一脸坏笑的把我拉到办公室，书柜里一堆一堆的数学书，至今我瑟瑟发抖。因为老板知道我读研之前做
2021-03-09 23:43:58
4672
13
转载 nginx学习
什么是 NginxNginx 是一款高性能的 HTTP 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。由俄罗斯的程序设计师 Igor Sysoev 所开发，官方测试 Nginx 能够支支撑 5 万并发链接，并且 CPU、内存等资源消耗却非常低，运行非常稳定。Nginx 的应用场景HTTP 服务器：Nginx 是一个 HTTP 服务可以独立提供 HTTP 服务。可以做网页静态服务器。虚拟主机：可以实现在一台服务器虚拟出多个网站。例如个人网站使用的虚拟主机。反向代理：正向代理-&
2021-01-28 16:38:47
271
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人