Hadoop
文章平均质量分 68
dev_xp
勤奋与忠诚
展开
-
Vmware网关连接原理
如图所示:100与101联通原创 2018-06-10 13:51:46 · 1034 阅读 · 0 评论 -
Hadoop第二天学习笔记
hdfs的原理:hdfs使用操作:hdfs编程:原创 2018-06-10 20:33:48 · 617 阅读 · 0 评论 -
Hadoop第一天学习笔记
Hadoop基本概念(不存进数据库,直接存为文本文件,直接处理文本,有数据库是nosql数据库):原来数据量大,我们一般是想的是高并发,现在可采用多台电脑来做(集群);海量数据存储(HDFS:分布式的存储系统)海量数据分析(MapReduce:你负责逻辑编写,他负责按你的逻辑进行计算)资源管理调度(YARN:负责资源管理调度)搜索引擎的一个框架:hadoop数据处理思路(mapreduce演示):...原创 2018-06-10 15:39:28 · 183 阅读 · 0 评论 -
RPC连接错误
在使用RPC客户端和服务端连接时,出现log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http...原创 2018-06-07 15:43:44 · 4918 阅读 · 0 评论 -
伪分布式下hadoop的datanode无法启动
问题描述:通过jps查看服务发现,缺少datanode问题原因 执行文件系统格式化时(即执行命令$ bin/hadoop namenode -format 后),会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION(我的路径为 usr/local/hadoop/tmp/dfs/name/current/VERSION...原创 2018-06-10 19:07:46 · 1479 阅读 · 1 评论