![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
Hadoop
木卫二号Coding
悟饭,你也变强了
展开
-
docker-安装hue-配置mysql
docker安装hue,并配置使用mysql原创 2022-07-11 21:02:31 · 1598 阅读 · 0 评论 -
Window安装Zookeeper-3.X
Window安装Zookeeper-3.x原创 2022-08-20 16:56:26 · 390 阅读 · 0 评论 -
MR-WordCount
pom.xml<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.2.2</version> </dependency>原创 2022-06-26 22:14:08 · 119 阅读 · 0 评论 -
SparkMySQLToHdfs
Maven<properties> <java.version>1.8</java.version> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> <project.build.sourceEnco原创 2022-03-26 22:33:03 · 389 阅读 · 0 评论 -
Spark Standalone安装
Spark Standalone安装0.基本信息 centos7 jdk-8u181 spark-2.4.4-bin-hadoop2.7.tgz 主机 172.17.0.2 172.17.0.31.主节点 0.登录主节点 1.ssh-keygen -t rsa 2.cd ~/.ssh/ 3.cat id_rsa.pub >> authorized_keys...原创 2019-12-07 00:11:58 · 172 阅读 · 0 评论 -
运行hadoop的MapReduce示例,在Running job卡住
所有的hadoop机器,${hadoop_home}/etc/hadoop/yarn-site.xml有以下配置:<property> <name>yarn.resourcemanager.hostname</name> <value>master</value></property>原创 2017-05-03 15:57:20 · 2181 阅读 · 3 评论 -
Hadoop MapReduce工作详细流程
map阶段使用job.setInputFormatClass(TextInputFormat)做为输入格式。注意输出应该符合自定义Map中定义的输出。进入Mapper的map()方法,生成一个List。在map阶段的最后,会先调用job.setPartitionerClass()对这个List进行分区,每个分区映射到一个reducer。每个分区内又调用job.setSortComparato转载 2017-06-21 14:42:09 · 619 阅读 · 0 评论