hadoop
文章平均质量分 83
Starry sky325
这个作者很懒,什么都没留下…
展开
-
数仓搭建(二)
文章目录数仓搭建一、第一层采集通道二、第二层采集通道三、MySql的安装1.检查是否已经安装了mysql的一些软件防止冲突2.安装3.配置root用户密码四、双向主从的MySQL搭建1.到/usr/share/mysql下找mysql服务端配置的模版2.配置3.重启4.在主机上使用root@localhost登录5.查看主机binlog文件的最新位置6.在从机上执行以下语句7.在从机上开启同步线程五、hive安装配置六、Tez的安装1.解压2.在Hive的/opt/module/hive/conf下面创建一原创 2021-07-12 11:31:54 · 566 阅读 · 0 评论 -
数仓搭建(一)
数仓搭建(一) 文章目录数仓搭建(一)一、准备1.安装hadoop2.在hadoop103的bin目录中添加2个脚本二、hadoop LZO压缩1.解压2.同步3.修改配置4.同步二、Zookeeper安装1.传输2.解压3.创建datas目录4.改名5.编辑zoo.cfg6.创建myid文件7.分发8.编写zookeeper的启动脚本三、Flume安装1.解压2.分发四、Kafka安装1.解压2.修改配置文件3.分发4.编写启动脚本kf四、拦截器,第一层采集通道1.创建目录myagents2.在myage原创 2021-07-03 18:07:52 · 586 阅读 · 1 评论 -
完全分布式运行模式
完全分布式运行模式 文章目录完全分布式运行模式一、虚拟机准备1.1模板虚拟机环境准备1.2 克隆三台虚拟机1.3 在 **hadoop102** 安装 **JDK**1.4 在 hadoop102 安装 Hadoop二、编写集群分发脚本 xsync2.1 scp(secure copy)安全拷贝2.2 **rsync** 远程同步工具2.3 xsync 集群分发脚本三、SSH 无密登录配置3.1 配置 ssh3.2 无密钥配置四、集群配置4.1 集群部署规划4.2 配置文件说明4.3 配置集群4.4 在集原创 2021-05-24 13:56:56 · 613 阅读 · 1 评论