大数据
文章平均质量分 58
hadoop、habase、hive、spark、flink大数据开发神器
fengchengwu2012
做技术就要追求卓越
展开
-
Flink入门教程
【代码】Flink入门教程。原创 2024-01-21 14:28:49 · 484 阅读 · 0 评论 -
spark 入门教程
maven创建一个spark项目原创 2024-01-21 14:24:25 · 499 阅读 · 0 评论 -
mongodb副本集部署及springboot集成
mongodb主从复制、读写分离、高可用部署,springboot集成应用原创 2023-02-02 18:12:59 · 1770 阅读 · 0 评论 -
Yarn模式部署Flink集群
使用yarn调度flink资源原创 2022-11-27 17:23:09 · 1669 阅读 · 0 评论 -
flink加载kafka数据源存储至hbase
flink计算框架、kafka数源、iphoenix连接hbase存储数据原创 2022-11-21 23:10:30 · 1235 阅读 · 0 评论 -
flume采集日志发送至kafka
flume采集数据源为lo日志原创 2022-11-20 17:44:35 · 1123 阅读 · 0 评论 -
phoenix连接hbase
phoenix简化hbase连接操作,对sql操更友好,能和spark、flink无缝对接,实在是海量数据操作的利器原创 2022-11-17 23:41:22 · 2152 阅读 · 2 评论 -
mysq8窗口(开窗)及新特性函数
mysql8适应技术潮流的革新技术原创 2022-11-11 12:11:37 · 174 阅读 · 0 评论 -
clickhouse入门
clickhouse入门教程原创 2022-06-21 17:36:33 · 913 阅读 · 0 评论 -
大数据计算框架MapReduce入门
MapReduce实现WordCount原创 2021-12-06 17:48:00 · 746 阅读 · 0 评论 -
Hive环境搭建及表创建
hive数据仓库搭建工具原创 2020-06-30 17:16:57 · 652 阅读 · 0 评论 -
Hbase集群搭建
1、官网下载Hbase解压值指定目录(在master机器上)2、配置hbase环境cd/home/master/hbase-2.2.5/conf(1)修改hbase-env.sh配置export JAVA_HOME=/usr/local/java/jdk8export HBASE_MANAGES_ZK=false (2)修改hbase-site.xml配置<configuration> <property> <name...原创 2020-06-15 22:47:05 · 563 阅读 · 0 评论 -
hadoop2.9.2源码编译
1、环境准备 centos7 、maven-3.6.1、jdk1.8.0、apache-ant-1.9.9 、protobuf-2.5.0、hadoop-2.9.2-src 将maven-3.6.1、jdk1.8.0、apache-ant-1.9.9 、protobuf-2.5.0的压缩包下载好,解压到指定的目录其中protobuf-2.5.0需要重新编译 安装gcc编译器和make构建:yum install glibc-headersyum...原创 2020-06-09 18:15:30 · 12925 阅读 · 1 评论 -
kafka应用及运行原理
1、集群启动脚本,目前只用192.168.2.131 (主机名master),192.168.2.130(主机名slave1)#!/bin/bashzkPath=/home/master/zookeeper-3.4.14/binkafkaPath=/home/master/kafka_2.11-2.2.1function sshStartZk(){echo "登陆主机"$1ssh root@$1 << 'EOF'cd /home/master/zookeeper-3.4.原创 2020-06-05 22:38:52 · 8644 阅读 · 2 评论 -
kafka集群搭建
1、 准备2台虚拟机,192.168.2.131和192.168.2.130,下载kafka的tar压缩包分别解压到两台虚拟指定的目录,本次示例放到如图目录下2、进入kafka_2.11-2.2.1/config/下,配置server.properties输入以下配置#broker的全局唯一编号,不能重复broker.id=0#删除topic功能使能delete.topic.enable=true#处理网络请求的线程数量num.network.threads=3#用来...原创 2020-06-04 11:12:07 · 632 阅读 · 1 评论 -
hadoop集群配置
1、安装3个虚拟机,主机名修改为 master 、slave1 、slave22、复制hadoop安装包到指定目录 切换至etc目录 cd /home/master/hadoop-2.9.2/etc/hdaood 查看java的安装目录 (1)vi hadoop-env.sh 配置jdk环境 (2)...原创 2020-03-29 22:27:08 · 299 阅读 · 0 评论 -
Zookeeper集群搭建
1、启动关闭zookeeper服务 (1) 进入到批处理脚本bin目录下: (2)启动服务 ./zkServer.sh start (3)查看启动状态 ./zkServer.sh status (4) 查看进程是否启动 jps (5)停止服务 ./zkServer.sh stop2、启动关闭...原创 2020-03-22 17:55:14 · 263 阅读 · 0 评论