Hadoop
文章平均质量分 70
雪域枫蓝
走自己的路,让别人无路可走!
展开
-
Hadoop的产生背景
hadoop的背景 数据处理步骤: 通过运用Python网页爬虫或者Hadoop的Flume框架实时收集数据>数据存储>运用Hadoop、Hive、Spark查找关键字进行数据统计>统计之后的数据由HDFS导入到MySQL中进行存储>运用SpringMVC建立与MySQL联系,对数据进行Web前端展示(主要是HighChart软件)。对于存储:Google采用多台机器,使用分布式的概念去存原创 2016-07-18 19:07:15 · 2160 阅读 · 0 评论 -
Hadoop环境搭建(一)
一、Linux环境部署工具准备(虚拟机、操作系统、远程工具)修改IP:NAT模式设置固定IP 主机名:vi /etc/sysconfig/network 映射: vi /etc/hosts 创建普通用户 useradd xxx passwd xxx关闭防火墙 # vi /etc/sysconfig/selinux 改为disabled禁用,然后重启原创 2016-07-19 21:37:14 · 591 阅读 · 0 评论 -
Hadoop环境搭建(二)
一、YARN的配置 启动命令 $ sbin/yarn-daemon.sh start resourcemanager $ sbin/yarn-daemon.sh start nodemanager 二、配置MapReduce三、运行MapReduce程序案例要求:写MR程序的一定要有输入和输出的路径准备数据 $ vi wc.input hadoop hdfs原创 2016-07-19 22:33:07 · 608 阅读 · 0 评论 -
Hadoop 2.x源码包编译
编译的环境: 1、必须在Linux系统面编译 2、编译使用的JDK版本必须是1.6以上 3、编译使用的Maven版本必须是3.0以上 4、必须连接互联网,对网络要求非常高(重点) 编译步骤: 第一步:解压hadoop源码jar包 第二步:解压JDK,配置环境变量 第三步:配置Maven,并使profile文件生原创 2016-07-19 23:00:46 · 368 阅读 · 0 评论 -
Hadoop的优化(Shuffle过程)
1. Shuffle过程(以wordcount为例)Shuffle过程:即洗牌或弄乱 Collections.shuffle(List):随机打乱参数list里面的元素顺序。 MaoReduce里的Shuffle:描述着数据从map task输出到Reduce task输入阶段过程。 Shuffle过程 *step1: i原创 2016-07-21 20:20:43 · 1599 阅读 · 0 评论 -
Hadoop分布式环境搭建
Hadoop 2.x部署 *local Mode *Distributed Mode *伪分布式 一台机器,运行所有的守护进程 从节点DataNode、NodeManager *完全分布式 有多个从节点 DataNodes NodeMan原创 2016-07-21 21:49:23 · 1261 阅读 · 0 评论 -
Hadoop,Java,MySQL,Linux,ML,DL,Spark大数据跳槽班视频下载
hadoop 大数据跳槽班(从入门到精通)-北风网 Java架构师视频教程老男孩MySQL DBA高级运维教程老男孩Linux视频教程吴恩达机器学习,人工智能,深度学习教程张飞电子设计视频教程 MATLAB从入门到精通(从初级到高级循序渐进) 网店装修视频教程本页视频均为本人已经研究过的无秘高清视频,对自己做编程开发的入门到经验积累具有很大的影响,现在给大家分享出来,有意向的加QQ:14067原创 2017-07-13 15:51:44 · 468 阅读 · 0 评论