![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
天心有情
这个作者很懒,什么都没留下…
展开
-
hadoop集群运行wordcount步骤
1:准备工作安装配置hadoop集群2:开启hadoop集群命令start-all.sh也可以用start-dfs.sh和start-yarn.sh两条命令来完成3:创建需要给单词计数的文件eg:mkdir /aaa然后建立这个文件vim aaa/inputword查看该文件的内容,如果没有写则自己写一段话4:在hdfs中建立文件输入文件夹had原创 2017-03-02 15:11:24 · 1832 阅读 · 0 评论 -
mapreduce只用map来处理数据小案例,减少reduce一端数据倾斜
mapreduce一般是由map和reduce分工合作来完成任务,但有时map分区之后数据不一致导致数据倾斜,某一个reduce任务负载过大,运行速度减慢。本案例以map代替reduce的工作来解决数据倾斜问题。源码如下: package MR_mapside_join;import java.io.BufferedReader;import java.io.FileIn原创 2017-03-08 17:05:23 · 1737 阅读 · 0 评论 -
hadoop入门程序wordcount 解析
文件一package hadooptext;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache原创 2017-03-04 14:11:56 · 562 阅读 · 0 评论 -
HDFS Java代码进行增删改查
提醒:如果要在idear或者eclipse等IDE下运行就必须在HDFS上给你所使用的目录分配权限给windows下的用户,为了方便起见建议给所有权限777创建目录命令hdfs dfs -mkdir myproject分配权限命令hdfs dfs -chmod 777 myprojectHDFS增删改查工具类package hdfs;import org.apach原创 2017-08-08 11:10:48 · 582 阅读 · 0 评论 -
HBase 0.98增删改查java代码实现
HBase0.98代码增删改查工具用例package HBase;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.filter.Fil原创 2017-08-08 10:49:02 · 800 阅读 · 0 评论 -
HBase1.1.2增删改查scala代码实现
增删改查工具类package org.apache.hadoop.confimport java.utilimport com.google.protobuf.GeneratedMessageimport org.apache.commons.codec.language.bm.Langimport org.apache.hadoop.hbase._import org.a原创 2017-08-08 11:05:48 · 1424 阅读 · 3 评论 -
HDFS使用API操作文件权限
在使用命令行时我们可以使用命令hdfs dfs -chmod 777 /文件名来修改文件权限。但是往往在实际应用中我们不能使用命令行。这时就要使用hadoop提供的API进行权限的控制。Hadoop权威指南也已经很清楚的提示了权限的用法(Hadoop权限管理权威指南)下面我就写一个小例子public class HdfsUtils { /* * create by Li原创 2017-08-10 13:54:11 · 5591 阅读 · 2 评论 -
illegal cyclic reference involving object InterfaceAudience
最近开发Spark应用程序,用到了scala反射,但是却一直报错循环引用 InterfaceAudience,感觉很奇怪,后来排查错因才发现,原来FileSystem类不可以作为反射的方法的参数,一旦作为参数就会报错循环引用。具体测试代码如下所示。package myreflectimport scala.reflect.runtime.universe._import org.apac...原创 2018-08-14 15:28:18 · 3705 阅读 · 0 评论 -
hadoop3.x端口改动
近日学习hadoop3.x,一切安装完成,格式化namenode 然后发现怎么也打不开50070界面如图所示刚开始以为是配置错误了,检查多次配置文件和防火墙发现都没问题,然后又测试把文件上传到hdfs试验,发现也可以。于是我明白可能是hadoop3.x端口进行更改了。那么问题来了。新的端口是什么呢???于是我进行敲击了如下命令[hadoop@hadoop hadoop]$ netstat...原创 2019-03-24 10:58:02 · 5930 阅读 · 0 评论