Hadoop
≯stephen
终身学习,学以致用!
展开
-
hive配置
<configuration><property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://CXGHDSJFXJM-10-242-24-3.domain.localdomain:3306/metastore?useSSL=false</value></property><property> <name>.原创 2020-05-09 02:32:44 · 103 阅读 · 0 评论 -
spark on yarn关键配置
配置面向节点情况:每台42G内存 1.6T磁盘 总计1.3T数据<configuration><!-- Site specific YARN configuration properties --><!-- 指定哪个节点作为resourcemanager --><property> <name>yarn.resourcemanager.hostname</name> <value>CXGHDSJFXJM..原创 2020-05-09 02:30:28 · 167 阅读 · 0 评论 -
HADOOP面试核心问题总结
大数据:无法在一定时间用常规工具处理的海量信息资产企业大数据多来源于日志、数据库、爬虫等Hadoop体系架构:HDFS(Hadoop Distributed File System)、YARN、MapReduce、Common Hadoop Common: 为其他Hadoop模块提供基础设施 Hadoop HDFS: ...原创 2019-10-27 19:57:16 · 126 阅读 · 0 评论 -
hadoop作业遇到的问题
此处用正则表达式作为空格分割符String[] split = value.toString().split("\\s+");package com.sortpartition;import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;...原创 2019-10-23 23:21:36 · 144 阅读 · 0 评论 -
JAVA实现HDFS文件增删查改
package com.hadoop01;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import java.io.FileInputStream;import java.io.FileOutputStream...原创 2019-10-19 00:01:59 · 191 阅读 · 0 评论 -
Hadoop
HDFS处理流程NameNode是主节点,存储文件的元数据如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在DataNode等。 DataNode 在本地文件系统存储文件块数据,以及块数据的校验和。 Secondary NameNode 用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。HDFSClient 客...原创 2019-10-17 13:34:04 · 276 阅读 · 0 评论