![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
逐 影
这个作者很懒,什么都没留下…
展开
-
rm和yarn的原理
按输出结果排序将已经统计好的数据结果,在进行一次MapReduce,map输出时会分区(省份案例)排序(此案例)package hadoop.mapreduce.flowsort;import org.apache.hadoop.io.Writable;import org.apache.hadoop.io.WritableComparable;import java.io.DataI...原创 2019-11-08 08:26:45 · 375 阅读 · 0 评论 -
MapReduce
一.mapreduce框架的设计思想:二.简单的单词统计:map:package hadoop.mapreduce.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org....原创 2019-11-08 08:25:37 · 216 阅读 · 0 评论 -
HDFS的工作原理
关于副本数量的问题副本数由客户端的参数dfs.replication决定(优先级: conf.set > 自定义配置文件 > jar包中的hdfs-default.xml)1 概述HDFS集群分为两大角色:NameNode、DataNode (Secondary Namenode)NameNode负责管理整个文件系统的元数据DataNode 负责管理用户的文件数据块文...原创 2019-11-07 08:44:38 · 233 阅读 · 0 评论 -
hadoop安装及HDFS的简单操作
1.hadoop集群的安装实际开发的真实部署学习中的部署1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ###1.2修改IP 两种方式: 第一种:通过Linux图形界面进行修改(强烈推荐) 进入Linux图形界面 -&g...原创 2019-11-07 08:41:51 · 506 阅读 · 0 评论 -
线程池
1 lockØ lock和synchronized的区别 1)Lock不是Java语言内置的,synchronized是Java语言的关键字,因此是内置特性。Lock是一个类,通过这个类可以实现同步访问; 2)Lock和synchronized有一点非常大的不同,采用synchronized不需要用户去手动释放锁,当synchronized方法或者synchronized代码块执行完之后...原创 2019-11-07 08:39:22 · 77 阅读 · 0 评论 -
zookeeper
1.局域网内的yum源仓库的配置将一台机器专门用来做yum源仓库,系统启动后自动挂载1.编辑vi /etc/fstab2.在文件末尾中追加/dev/cdrom /mnt/cdrom iso9660 defaults 0 03.安装httpd服务4.在httpd服务的工作路径下创建软连接指向本地的yum源仓库httpd的...原创 2019-11-04 10:27:34 · 835 阅读 · 0 评论