- 博客(9)
- 收藏
- 关注
原创 Sqoop 启动任务时报错 java.lang.ClassNotFoundException: Class [表名] not found
class未找到是因为map是本地方式运行,生成的jar包在/tmp/sqoop-[username]目录下有两种解决方式方式一修改mapred运行方式,修改为伪分布方式# 1.etc/hadoop/mapred-site.xml:<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</valu
2021-10-17 18:35:41
1573
1
原创 数仓常见端口汇总:
Hadoop:50070:HDFS WEB UI端口8020 : 高可用的HDFS RPC端口9000 : 非高可用的HDFS RPC端口8088 : Yarn 的WEB UI 接口8485 : JournalNode 的RPC端口8019 : ZKFC端口19888:jobhistory WEB UI端口Zookeeper:2181 : 客户端连接zookeeper的端口2888 : zookeeper集群内通讯使用,Leader监听此端口3888 : zookeeper端口 用于
2021-09-09 09:49:13
221
原创 Spark--RDD常用方法
Spark 计算框架为了能够进行高并发和高吞吐的数据处理,封装了三大数据结构,用于处理不同的应用场景。三大数据结构分别是:➢ RDD : 弹性分布式数据集➢ 累加器:分布式共享只写变量➢ 广播变量:分布式共享只读变量RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是 Spark 中最基本的数据处理模型。RDD负责数据的处理以及数据的分区,分发给不同的Executor执行。所以说编写spark任务即是编写RDD数据处理过程。RDD 的创建val spark
2021-09-03 11:02:10
195
原创 HDFS 的 API 操作
// 获取文件系统 Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop:8020"), configuration,"root"); // 创建目录 if (!fs.exists(new Path("/photo"))){ fs.mkdirs(new Path..
2021-08-11 18:40:14
55
原创 HDFS 的 Shell 操作
HDFS 的 Shell 操作类似于linux操作命令 只需要命令前加上hadoop fs - 或者 **hdfs dfs -**即可 创建文件夹hadoop fs -mkdir /photo上传文件hadoop fs -put 1.png /photo下载文件hadoop fs -get /photo/1.png ./查看文件hadoop fs -ls /photo拷贝文件 hadoop fs -cp /photo/1.png /移动文件 hadoop fs
2021-08-11 17:09:02
107
原创 Hadoop 集群启动/停止
Hadoop 集群启动/停止方式整体启动/停止 HDFSstart-dfs.sh/stop-dfs.sh整体启动/停止 YARNstart-yarn.sh/stop-yarn.sh 启动/停止 HDFS 组件hdfs --daemon start/stop namenode/datanode/secondarynamenode启动/停止 YARN 组件yarn --daemon start/stop resourcemanager/nodemanager 启
2021-08-11 16:34:11
62
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人