Hadoop大数据
易学笔记(qq:1776565180)
十年IT从业经验,从底层编码开始一步步到现在系统架构设计,推崇全栈技术开发,积累大量个人学习资料,非常适合入门和提高学习。十年工作经验前后积累了多种技术:
开发语言:C/C++/JAVA/PYTHON/GO/JSP
WEB架构:Servlets/springMVC/springBoot/springClound
容器架构:Docker容器/Docker集群/Docker与微服务集成/
数据库:Oracle/Mysql/Redis/MongoDB
中间件:Nginx/消息队列/
大数据:Hadoop/Hbase/hlive等
人工智能:数学基础/机器学习/深度学习/数据挖掘/推荐系统
展开
-
易学笔记-第1章 初识Hadoop(1)
第1章 初识Hadoop/1.1 数据换算单位 数据换算单位 数据换算单位 Kilo K 1K = 1,024个字节 Meg M 1M = 1024K Giga G 1G = 1024M Tera T 1T = 1024G Peta P 1P = 1024T Exa E 1E = 1024P Zetta ...原创 2018-11-12 09:35:37 · 157 阅读 · 0 评论 -
易学笔记-第1章 初识Hadoop(2)
第1章 初识Hadoop/1.4 Hadoop发展简史 Hadoop发展简史 Hadoop 是Apache Nutch子项目,Lucene是应用广泛的文本搜索系统库,目的就是为了网络搜索 Hadoop取名: 发展历程 2002年,Nutch网页爬虫和搜索引擎 2003年,GFS:谷歌分布式文件系统,用于存储超大文本 2004年,NDFS,Nutch分布式文件系统 2005年...原创 2018-11-12 09:36:59 · 150 阅读 · 0 评论 -
易学笔记-第2章 关于MapReduce
第2章 关于MapReduce/2.1 气象数据集 MapReduce主流语言版本,可运行于不同的Hadoop版本 Java Ruby Python C++ 气象数据集 例子: 需求: 气温的数据格式: 第2章 关于MapReduce/2.2 使用Unix工具来分析数据 使用Unix工具来分析数据 需求: 传统的awk分...原创 2018-11-12 09:39:59 · 142 阅读 · 0 评论