![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
[8]Hadoop
hjw199089
从事大数据
(1)查询引擎开发-presto深度开发-hive开发-自研查询引擎开发
(2)大数据用户行为分析
(3)spark、sparkstreaming、storm、druid开发应用经验
(4)数据仓库开发
展开
-
CentOS7安装Hadoop2.7完整流程
转自:多谢学习CentOS7安装Hadoop2.7完整流程总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs、mapreduce等主从关系。1、环境,3台CentOS7,64位,Hadoop2.7需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分钟就可以安装完成原创 2017-01-22 16:14:23 · 527 阅读 · 0 评论 -
HDFS
周末学习计划,抽时间细节学习下HDFSHadoop官方文档官方文档英文版HDFS(Hadoop Distributed File System)HDFS有着高容错性(fault-tolerant)的特点,用来部署在低廉的(low-cost)硬件。高吞吐量(high throughput)适合超大数据集(large data set)的应用程序。HDFS放宽了(relax翻译 2017-10-31 10:00:21 · 224 阅读 · 0 评论 -
HADOOP-[1]-QUICK GUIDE-Architecture and installation
HADOOP - QUICK GUIDE-[1]-Architecture and installation 原文 https://www.tutorialspoint.com/hadoop/hadoop_quick_guide.htmHadoop ArchitectureHadoop has two major layers namely:Processing/Computation翻译 2017-12-29 20:14:27 · 237 阅读 · 0 评论 -
HADOOP - QUICK GUIDE-[3]-Mapreduce
HADOOP - QUICK GUIDE-[3]-Mapreduce 原文 https://www.tutorialspoint.com/hadoop/hadoop_quick_guide.htm利用MapReduce框架(framework)得到可靠的manner在大规模集群中运行我们写的application来处理大数据量数据。What is MapReduce?MapReduce是翻译 2018-01-02 19:55:58 · 153 阅读 · 0 评论 -
Mac单机Hadoop安装备忘
参照以下安装单机hadoop http://blog.csdn.net/coffeeandice/article/details/78879151http://blog.csdn.net/uq_jin/article/details/51451995http://www.aboutyun.com/thread-12798-1-1.htmlbin/hadoop原创 2017-12-28 23:24:00 · 1033 阅读 · 1 评论 -
Mac单机开源软件安装备忘
安装常用开源软件单机mac安装记录, 便于单机简单测试调试,简单记录备忘Mac单机Hadoop安装备忘 Mac-单机Hive安装与测试Hive中desc和show create table中文注释乱码解决方案Presto-[3]-单机安装_配置查询MysqlMac安装Mysql+解决中文乱码+JDBC访问操作hadoop2.7.3下spark2.1.0安装_yarn作业提交Ma原创 2018-01-11 23:14:56 · 378 阅读 · 0 评论 -
HADOOP - QUICK GUIDE-[2]-HDFS OVERVIEW
HADOOP - QUICK GUIDE-[2]-HDFS OVERVIEW 原文 https://www.tutorialspoint.com/hadoop/hadoop_quick_guide.htmHDFS OVERVIEWFeatures of HDFS适合分布式存储和处理Hadoop提供和HDFS交互的命令接口内嵌的namenode和datano...翻译 2017-12-31 20:30:39 · 315 阅读 · 0 评论