雪域枫蓝的博客

做一个发疯的程序猿!!!

Hadoop,Java,MySQL,Linux,ML,DL,Spark大数据跳槽班视频下载

hadoop 大数据跳槽班(从入门到精通)-北风网 Java架构师视频教程老男孩MySQL DBA高级运维教程老男孩Linux视频教程吴恩达机器学习,人工智能,深度学习教程张飞电子设计视频教程 MATLAB从入门到精通(从初级到高级循序渐进) 网店装修视频教程本页视频均为本人已经研究过的无秘...

2017-07-13 15:51:44

阅读数 211

评论数 0

Hadoop分布式环境搭建

Hadoop 2.x部署  *local Mode   *Distributed Mode     *伪分布式       一台机器,运行所有的守护进程      从节点DataNode、NodeManager     *完全分布式      ...

2016-07-21 21:49:23

阅读数 973

评论数 0

Hadoop的优化(Shuffle过程)

1. Shuffle过程(以wordcount为例)Shuffle过程:即洗牌或弄乱   Collections.shuffle(List):随机打乱参数list里面的元素顺序。   MaoReduce里的Shuffle:描述着数据从map task输出到Reduce task输入阶段过程。 ...

2016-07-21 20:20:43

阅读数 931

评论数 0

Hadoop 2.x源码包编译

编译的环境: 1、必须在Linux系统面编译 2、编译使用的JDK版本必须是1.6以上 3、编译使用的Maven版本必须是3.0以上 4、必须连接互联网,对网络要求非常高(重点) 编译步骤: 第一步:解压hadoop源码jar包 ...

2016-07-19 23:00:46

阅读数 240

评论数 0

Hadoop环境搭建(二)

一、YARN的配置 启动命令   $ sbin/yarn-daemon.sh start resourcemanager    $ sbin/yarn-daemon.sh start nodemanager 二、配置MapReduce三、运行MapReduce程序案例要求:写MR程...

2016-07-19 22:33:07

阅读数 431

评论数 0

Hadoop环境搭建(一)

一、Linux环境部署 工具准备(虚拟机、操作系统、远程工具) 修改IP:NAT模式设置固定IP 主机名:vi /etc/sysconfig/network 映射: vi /etc/hosts 创建普通用户   useradd xxx    passwd xxx 关闭防火墙...

2016-07-19 21:37:14

阅读数 424

评论数 0

Hadoop的产生背景

hadoop的背景 数据处理步骤:   通过运用Python网页爬虫或者Hadoop的Flume框架实时收集数据>数据存储>运用Hadoop、Hive、Spark查找关键字进行数据统计>统计之后的数据由HDFS导入到MySQL中进行存储>运用SpringMVC建立与My...

2016-07-18 19:07:15

阅读数 1460

评论数 0

提示
确定要删除当前文章?
取消 删除