![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
GOD_WAR
喜欢钻研大数据、python、机器学习、人工智能...
展开
-
Hadoop 3.0磁盘均衡器(diskbalancer)使用介绍
Hadoop 3.0磁盘均衡器在HDFS中,DataNode 将数据块存储到本地文件系统目录中,具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中,一般都会配置多个目录,并且把这些目录分别配置到不同的设备上,比如分别配置到不同的HDD(HDD的全称是Hard Disk Drive)和SSD(全称Solid State Drives,就是我们熟悉的固态硬盘)上。当我们往HDFS上写入新的数据块,DataNode 将会使用vo原创 2020-10-13 09:10:52 · 1094 阅读 · 0 评论 -
Hadoop 代码 pom 依赖
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://m...原创 2020-04-13 20:22:11 · 886 阅读 · 0 评论 -
运行mapreduce 程序报错 NoSuchMethodException
把hbase数据导入到hdfs 在运行mapreduce 程序报错!!报错如下:Error: java.lang.RuntimeException: java.lang.NoSuchMethodException: com.hadoop3.hbaseapi.day03.Demo02_HbasseToHdfs$ToHdfsMapper.()at org.apache.hadoop.ut原创 2017-10-12 00:32:48 · 750 阅读 · 0 评论 -
win10 设置mysql 开机自启动
windows下的mysql也需要每次点击启动的朋友,我们可参考下面方法:1.打开命令行窗口(CMD) 一定要以管理员身份运行2.切换到mysql目录下,例如:d:/mysql/bin3.输入mysqld-nt --install,回车4.系统提示(Service successfully installed.)5.打开[控制面板-管理工具-服务]6.查看服务 "MySql "...原创 2018-06-25 09:38:03 · 17757 阅读 · 0 评论 -
Hadoop3.0新特性介绍
Hadoop3.0新特性介绍,比Spark快10倍的Hadoop3.0新特性Apache hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据。其实最大改变的是hdfs,hdfs 通过最近black块计算,根据最近计算原则,本地black块,加入到内存,先计算,通过IO,共享内存计算区域,最后快速形成计算结果。1....原创 2018-12-19 20:51:02 · 1429 阅读 · 0 评论