![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据平台
侠客刀
简单,清晰,高效
展开
-
kafka集群安装
kafka集群安装一、下载wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz二、解压tar -zxvf kafka_2.13-2.7.0.tgz -C /opt/module/三、配置vim ${KAFKA_HOME}/config/server.properties#broker的全局唯一编号,不能重复broker.id=01 #用来监听链接的端口,producer或consumer将在此端口建立连原创 2021-03-10 15:27:54 · 148 阅读 · 0 评论 -
zookeeper集群安装
zookeeper集群安装一、解压tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz -C ../module/二、环境变量vi /etc/profile.d/zookeeper.sh export ZOOKEEPER_HOME=/export/servers/zookeeper-3.4.5-cdh5.14.0 export PATH=$PATH:$ZOOKEEPER_HOME/binsource /etc/profile三、配置相关cd原创 2021-03-10 11:22:45 · 101 阅读 · 0 评论 -
Azkaban安装和部署
Azkaban安装和部署一、下载下载地址:http://azkaban.github.io/downloads.html网盘地址:https://pan.baidu.com/s/1E4ijWCJrbHRp6BFPUDpA-A 提取码:9rwg二、解压tar -zxvf azkaban-web-server-2.5.0.tar.gztar -zxvf azkaban-executor-server-2.5.0.tar.gztar -zxvf azkaban-sql-script-2.5.0.ta原创 2021-03-01 19:02:33 · 192 阅读 · 0 评论 -
数据仓库的架构与设计
公司之前的数据都是直接传到Hdfs上进行操作,没有一个数据仓库,趁着最近空出几台服务器,搭了个简陋的数据仓库,这里记录一下数据仓库的一些知识。涉及的主要内容有:什么是数据仓库?数据仓库的架构数据仓库多维数据模型的设计1. 什么是数据仓库1.1 数据仓库的概念官方定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,用于对管理决策过程的支持。这个定义的确...原创 2019-02-15 17:31:41 · 186 阅读 · 0 评论 -
python爬虫-之前接的一家长租公寓的项目
长租公寓项目项目描述:公司想通过目前中国长租公寓的信息,比如:长租公寓品牌(比如自如、蛋壳、优逸客家等多个品牌)、房源位置(这里具体到省、市、区、小区名),房源个数,房屋设备、位置优势、租房价格等,去分析不同公寓品牌在不同城市的服务情况。从而去决策租房的消费情况和各个品牌的一个个走势。最终以热力图、折线图等呈现出来。项目流程:1.从网上抓取各个品牌的f房源信息2.进行数据预处理、清洗、去...原创 2019-02-25 10:42:40 · 241 阅读 · 0 评论