![](https://img-blog.csdnimg.cn/963f647e69ad431c8d2611a7e3c1a9ae.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
hadoop
hadoop 相关分类整理
taco詹詹
多年互联网在线教育、电商、社区、直播、音视频等产品开发架构经验,从0到1主导多个产品线、数据中台、技术中台的建设,技术管理一身的互联网“民工”。
熟练使用java、scala、PHP、python等后端语言进行软件研发,熟悉spring生态、docker、K8S等容器、CI、CD集成工具。
熟悉大数据周边组件,Hadoop、Hive、Spark、Flink等。
熟悉离线数仓构建全流程及元数据管理、数据建模、数据治理等。
熟悉基于spark框架全流程实时数据统计及常用OLAP工具的使用等。
展开
-
数仓架构设计
离线数仓 实时数仓原创 2021-11-03 13:49:31 · 65 阅读 · 0 评论 -
大数据-hadoop-初探03
**# ### 一、完全分布式的安装** 1、集群规划 角色分配 组件 PC1 PC2 PC3 HDFS Namenode SecondaryNamenode Datanode Datanode Datanode Yarn R...原创 2018-04-09 13:27:19 · 193 阅读 · 0 评论 -
大数据-hadoop初探-02
【SSH免密码登录】 1、ssh-keygen -t rsa id_rsa -》私钥 id_rsa.pub -》公钥 ssh-copy-id bigdata-01 ssh-copy-id bigdata-02 ssh-copy-id bigdata-03 自己也要给自己发送公钥和私钥 authorized_keys -》将公钥保存到文件中远程拷贝到其他机器上保存 known_hosts ...原创 2018-04-09 13:25:39 · 207 阅读 · 0 评论 -
大数据-Hadoop初探-01
一,大数据: 1.大数据起源于社交网络 QQ微信 发展于电商平台 淘宝,京东,一号店 2。***大数据的4V特征 体积数据量大TB PB Varity 的数据多种多样文本(.log .txt .sql .xml) Veracity真实性数据的准确性和可信赖度 速度速度快 价值价值密度低 Hadoop ->...原创 2018-04-09 13:24:23 · 320 阅读 · 0 评论