![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
weixin_41734687
这个作者很懒,什么都没留下…
展开
-
python操作hdfs基础及简单案例 python3.5 pyhdfs hadoop2.6.4
python操作hdfs基础及简单案例 python3.5 pyhdfs hadoop2.6.4官方文档参考文档在mac_pro上运行,自己搭建的hadoop集群,测试之前先要将集群/etc/hosts文件中域名映射ip关系,追加到mac /etc/hosts中在mac_pro终端vi /etc/hosts # 把以下内容追加到/etc/hosts192.168.146.135 s...原创 2018-10-20 22:09:26 · 1374 阅读 · 0 评论 -
MapReduce 原理、过程详解与优化 Yarn Hdfs Mapreduce 三者联系
参考文档一 Mapreduce Yarn Hdfs三者联系(比喻有不恰当的地方,但更容易理解三者之间的关系)Mapreduce,Yarn,Hdfs三者之间的关系,可以用电脑来进行解释。大体可以理解为:windows系统电脑上的一个视频播放软件(mapreduce),通过windows操作系统(yarn)找到存在电脑硬盘(hdfs)上的电影,然后视频播放器播放电影Yarn 相当于电脑的操作...原创 2018-10-25 22:35:19 · 3136 阅读 · 3 评论 -
DB、ETL、DW、OLAP、DM、BI关系结构图
发现一篇好文,后期整理,目前是全文引用参考链接DB、ETL、DW、OLAP、DM、BI关系结构图DB、ETL、DW、OLAP、DM、BI关系结构图在此大概用口水话简单叙述一下他们几个概念:(1)DB/Database/数据库——这里一般指的就是OLTP数据库,在线事物数据库,用来支持生产的,比如超市的买卖系统。DB保留的是数据信息的最新状态,只有一个状态!比如,每天早上起床洗脸照镜子,看...原创 2018-11-10 21:38:03 · 655 阅读 · 0 评论 -
用户画像-ID_MAPPING pyspark实战
一、背景简介用户性别预测是我进入机器学习领域的HelloWorld级工程实践,也是第一个从业务需求分析、数据源调研、数据整理和特征工程到建模、模型评估、系统部署这一完整流程都由自己独立设计实现的工程。非常有幸能接触到这个难度不是很大,但是却很好将我带入机器学习的世界的工程。前后大约花了4个月的时间做了三个版本,这是其中第二个版本,这个版本耗时大约1.5个月。一 项目背景公司大数据平台从无到有...原创 2019-08-11 12:08:07 · 4030 阅读 · 11 评论