大数据-玩转数据-工具
文章平均质量分 80
人猿宇宙
大数据\项目管理
展开
-
大数据工具-kafkaUi-lite
史上最轻便好用的 kafka ui 界面工具,提供了对 kafka 的界面化操作可以在界面生产消息、消费消息、创建管理 topic可以支持管理多个 kafka 集群部署简便,不需要连数据库,只有一个 jar 包启动即可。原创 2023-10-31 16:34:45 · 681 阅读 · 0 评论 -
大数据-玩转数据-netcat
Netcat(简称nc)是一款强大的命令行网络工具,用来在两台机器之间建立TCP/UDP连接,并通过标准的输入输出进行数据的读写。原创 2023-05-01 12:11:32 · 1445 阅读 · 3 评论 -
大数据-玩转数据-接口的测试
系统对外的接口比如你要从别的网站或服务器上获取资源或信息,别人肯定不会把数据库共享给你,他只能给你提供一个他们写好的方法来获取数据,你引用他提供的接口就能使用他写好的方法,从而达到数据共享的目的,比如说咱们用的app、网址这些它在进行数据处理的时候都是通过接口来进行调用的。程序内部的接口方法与方法之间,模块与模块之间的交互,程序内部抛出的接口,比如bbs系统,有登录模块、发帖模块等等,那你要发帖就必须先登录,要发帖就得登录,那么这两个模块就得有交互,它就会抛出一个接口,供内部系统进行调用。...原创 2022-07-16 18:37:45 · 1084 阅读 · 0 评论 -
大数据-玩转数据-Notepad++
一、删除空格1.Ctrl+F2.在查找目标(F)处输入“\s”3.在**替换为(L)**处输入4.点击“全部替换”如图所示:二、删除空行那如何删除空行呢,如上类似。1.Ctrl+F2.在查找目标(F)处输入“^\s+”3.在**替换为(L)**处输入4.点击“全部替换”如图所示:三、竖列批量写1、按住ALT+左按鼠标+向下拖动划线2、根据划线批量处理字符或写字符...原创 2022-05-08 20:21:53 · 531 阅读 · 0 评论 -
大数据-玩转数据-FTP服务器搭建和使用
一、说明在做大数据采集和数据共享时,我们常用要到FTP数据采集或将数据推送到FTP服务器对外共享。二、环境环境说明:阿里云服务器(centos7系统)三、安装 vsftpd 服务# yum install vsftpd -y配置文件说明/etc/vsftpd/vsftpd.conf 是 vsftpd 的核心配置文件。/etc/vsftpd/ftpusers 是黑名单文件,此文件里的用户不允许访问 FTP 服务器。/etc/vsftpd/user_list 是白名单文件,此文件里原创 2022-04-25 22:40:37 · 476 阅读 · 0 评论 -
大数据-玩转数据-Git小乌龟的安装及使用
1.先下载git,按照相应的系统,https://git-scm.com/downloads,然后,一直next即可完成安装2.安装git小乌龟,https://tortoisegit.org/download/,同样的,一直next即可完成安装,但是,需要注意的是必须先安装git,在安装git小乌龟3.安装语言包,同样是https://tortoisegit.org/download/,然后一直next即可,要先装完小乌龟在安装语言包。4.右键→tortogit→setting,把language原创 2022-04-17 23:47:35 · 240 阅读 · 1 评论 -
大数据-玩转数据-Oracle GoldenGate(OGG)
前言Oracle GoldenGate,简称OGG,是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步。Oracle GoldenGate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同时,Oracle Gol原创 2022-03-18 22:51:12 · 5145 阅读 · 0 评论 -
大数据-玩转数据-数据同步工具datax
一、dataX概览1.1 DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。1.2 FeaturesDataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插转载 2022-03-18 12:38:32 · 1275 阅读 · 0 评论