![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 72
杨宇sss
虚拟,现实的结合
展开
-
docker-compose搭建spark集群
注:此为大数据计算框架,因此带有大数据色彩,需要真实实际应用,需要有一定大数据基础,及应用程序算法基础,使用例子跟网上一致。原创 2022-08-18 16:19:20 · 957 阅读 · 0 评论 -
基于spingboot通过spark-sql进行大批量插入clickhous分布式数据库
此为spark本地模式,集群模式需要注意使用方式,上面直接可以,已经规避掉很多初级坑,此为saprk-sql实现,sparkstreaming后期会更新原创 2022-08-18 15:54:02 · 1073 阅读 · 1 评论 -
elasticsearch 、logstash、filebeat、kibana日志执行流程
elasticsearch安装地址:wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.1-linux-x86_64.tar.gz创建普通账号 注意elasticsearch最后用非root账号运行2.1创建过程[root@master ~]# useradd yangyu [root@master ~]# passwd yangyu Changing password for use.原创 2021-08-04 11:40:59 · 531 阅读 · 0 评论 -
hive搭建及连接mysql
前提条件:hadoop需要运行本人hadoop为hadoop-2.7.1.tar.gz首先下载hivehttp://archive.apache.org/dist/hive/原创 2021-06-02 21:47:08 · 3111 阅读 · 4 评论 -
基于centos8.1hdoop+mapreduce+hbase
开发环境:windos +ieda生产环境:hdoop+mapreduce+hbase生产hadoop用户,主要为测试hdoop+mapreduce,真实环境需要加入数据采集,数据存储,数据展示等技术,hbase存储不多说,网上很多。主要是数据处理与分析需要制定大量规则下述为演示,只写基本规则,伪分布集群存储等------------------------------------------------------------------------------------------原创 2021-05-07 15:26:10 · 146 阅读 · 1 评论