[8]Hadoop
hjw199089
从事大数据
(1)查询引擎开发-presto深度开发-hive开发-自研查询引擎开发
(2)大数据用户行为分析
(3)spark、sparkstreaming、storm、druid开发应用经验
(4)数据仓库开发
展开
-
CentOS7安装Hadoop2.7完整流程
转自:多谢学习 CentOS7安装Hadoop2.7完整流程 总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs、mapreduce等主从关系。 1、环境,3台CentOS7,64位,Hadoop2.7需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分钟就可以安装完成原创 2017-01-22 16:14:23 · 536 阅读 · 0 评论 -
HDFS
周末学习计划,抽时间细节学习下HDFS Hadoop官方文档 官方文档英文版 HDFS(Hadoop Distributed File System)HDFS有着高容错性(fault-tolerant)的特点,用来部署在低廉的(low-cost)硬件。高吞吐量(high throughput)适合超大数据集(large data set)的应用程序。HDFS放宽了(relax翻译 2017-10-31 10:00:21 · 233 阅读 · 0 评论 -
HADOOP-[1]-QUICK GUIDE-Architecture and installation
HADOOP - QUICK GUIDE-[1]-Architecture and installation 原文 https://www.tutorialspoint.com/hadoop/hadoop_quick_guide.htm Hadoop ArchitectureHadoop has two major layers namely: Processing/Computation翻译 2017-12-29 20:14:27 · 249 阅读 · 0 评论 -
HADOOP - QUICK GUIDE-[3]-Mapreduce
HADOOP - QUICK GUIDE-[3]-Mapreduce 原文 https://www.tutorialspoint.com/hadoop/hadoop_quick_guide.htm 利用MapReduce框架(framework)得到可靠的manner在大规模集群中运行我们写的application来处理大数据量数据。What is MapReduce?MapReduce是翻译 2018-01-02 19:55:58 · 160 阅读 · 0 评论 -
Mac单机Hadoop安装备忘
参照以下安装单机hadoop http://blog.csdn.net/coffeeandice/article/details/78879151 http://blog.csdn.net/uq_jin/article/details/51451995 http://www.aboutyun.com/thread-12798-1-1.html bin/hadoop原创 2017-12-28 23:24:00 · 1044 阅读 · 1 评论 -
Mac单机开源软件安装备忘
安装常用开源软件单机mac安装记录, 便于单机简单测试调试,简单记录备忘 Mac单机Hadoop安装备忘 Mac-单机Hive安装与测试 Hive中desc和show create table中文注释乱码解决方案 Presto-[3]-单机安装_配置查询Mysql Mac安装Mysql+解决中文乱码+JDBC访问操作 hadoop2.7.3下spark2.1.0安装_yarn作业提交 Ma原创 2018-01-11 23:14:56 · 389 阅读 · 0 评论 -
HADOOP - QUICK GUIDE-[2]-HDFS OVERVIEW
HADOOP - QUICK GUIDE-[2]-HDFS OVERVIEW 原文 https://www.tutorialspoint.com/hadoop/hadoop_quick_guide.htm HDFS OVERVIEW Features of HDFS 适合分布式存储和处理 Hadoop提供和HDFS交互的命令接口 内嵌的namenode和datano...翻译 2017-12-31 20:30:39 · 322 阅读 · 0 评论