![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
江南飞鹏
这个作者很懒,什么都没留下…
展开
-
离线安装logstash-output-jdbc
离线安装logstash-output-jdbc上一篇文章介绍了在线安装,但有很多情况下我们需要离线安装(比如说生产服务器禁止访问外网)下面我们说说离线安装离线安装也就是在已安装插件的主机进行打包操作,打包后的无非就是logstash-output-jdbc-5.4.0.gem 这个文件和一个依赖插件包logstash-codec-plain-3.0.6.gem对应的下载地址分别如下:https://rubygems.org/gems/logstash-output-jdbchttps://rub原创 2021-01-21 11:01:49 · 926 阅读 · 1 评论 -
logstash从文本文件中读取数据存到mysql数据库中
logstash从文本文件中读取数据存到mysql数据库中最近项目中有一个需求:logstash从文本文件中读取数据存到mysql数据库中,花了我快两天的时间,以防忘记故来记录一下:第一步:logstash安装首先我们要在服务器上安装logstash,对应的安装包链接如下:https://download.csdn.net/download/qq_34136709/14363673进行解压缩即可,第二步:安装logstash-output-jdbc插件(1)在线安装进入到logstash的原创 2021-01-15 16:38:59 · 1083 阅读 · 0 评论 -
Logstash同步Oracle数据到ElasticSearch
Logstash同步Oracle数据到ElasticSearch最近遇到个业务场景把Oracle数据写到ES上,可以自己本地写对应的帮助类打成jar包发布到服务器上,但最近用到logstash故想能不能用logstash来实现呢,索性去官网上看一下,发现input选项里面有jdbc,logstash介绍可以看我之前的博客https://blog.csdn.net/qq_34136709/article/details/109693734这里就介绍下Logstash这种方式,先上logstash文件(原创 2020-11-17 17:05:12 · 1004 阅读 · 0 评论 -
logstash介绍
logstash介绍在介绍logstash之前不得不说下ELK,介绍官网如下:https://www.elastic.co可能很多人在上面地址找不到logstash,其官网介绍如下:https://www.elastic.co/cn/logstash安装这里就不介绍了,自行百度哈,介绍几个常用的命令1.启动命令:Run bin/logstash -f logstash.conf1.控制台输入和控制台输出cd logstash-7.10.0bin/logstash -e 'input原创 2020-11-14 18:24:16 · 347 阅读 · 0 评论 -
Hbase表操作命令
Hbase表操作命令我又回来了,今天讲讲Hbase的shell操作命令,安装的话自行百度哈1.进入hbase进入到hbase的安装目录下:bin/hbase shell2.创建表(表名和列簇名)create ‘test’,'info'3.查看所有表:list4.查看表里面有没有数据scan 'test'5.往表里面添加数据(put 表名,Rowkey,列簇的key,列簇的value)put 'test','001','info:username','jiangnanfeip原创 2020-11-14 13:56:28 · 508 阅读 · 0 评论 -
centos上修改主机名和主机名与ip做映射
centos上修改主机名和主机名与ip做映射最近在弄大数据这块的知识,用的最多的就是主机名和主机名与IP之间做映射,先说我们的修改主机名:1.查看当前主机的主机名:hostname2.如果是centos7版本,hostnamectl查看详细的信息3.临时修改主机名,可以使用hostname 新主机名即可,但有个缺点,就是重启网卡服务会自动还原,所以我们还是永久修改吧4.永久修改主机名,修改/etc/hostname文件保存修改即可,因为我这里用的是百度云服务器,可以直接在对应的服务商原创 2020-09-27 18:00:34 · 998 阅读 · 0 评论 -
(一)kafka安装及操作命令
(一)kafka安装及操作命令1.安装kafka可以通过官网下载https://kafka.apache.org/downloadskafka根据Scala版本不同,又分为多个版本,我不需要使用Scala,所以就下载官方推荐版本kafka_2.12-2.4.0.tgz。下载好后在自己的服务器上进行解压即可,这里就不演示了2.Zookeeper配置当前下载的kafka程序里自带Zookeeper,可以直接使用其自带的Zookeeper建立集群,也可以单独使用Zookeeper安装文件建立集群。原创 2020-09-23 17:53:18 · 200 阅读 · 0 评论 -
我回来了(它来了,带着挑战走来了)
我回来了(它来了,带着挑战走来了)有近一个月没有写博客了,主要是因为个人跳了个槽,且公司用的是大数据这块的知识(之前只知道大数据,并没有玩过),边学边研究吧,今天先说说利器之一hive。先来一段hive的百度百科介绍:hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优原创 2020-09-18 11:22:57 · 234 阅读 · 0 评论