- 博客(9)
- 收藏
- 关注
RSS订阅原创 Sqoop 启动任务时报错 java.lang.ClassNotFoundException: Class [表名] not found
class未找到是因为map是本地方式运行，生成的jar包在/tmp/sqoop-[username]目录下有两种解决方式方式一修改mapred运行方式，修改为伪分布方式# 1.etc/hadoop/mapred-site.xml:<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</valu
2021-10-17 18:35:41
1432
1
原创 数仓常见端口汇总：
Hadoop:50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的HDFS RPC端口8088 ： Yarn 的WEB UI 接口8485 ： JournalNode 的RPC端口8019 ： ZKFC端口19888：jobhistory WEB UI端口Zookeeper:2181 ： 客户端连接zookeeper的端口2888 ： zookeeper集群内通讯使用，Leader监听此端口3888 ： zookeeper端口 用于
2021-09-09 09:49:13
192
原创 Spark--RDD常用方法
Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是：➢ RDD : 弹性分布式数据集➢ 累加器：分布式共享只写变量➢ 广播变量：分布式共享只读变量RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。RDD负责数据的处理以及数据的分区，分发给不同的Executor执行。所以说编写spark任务即是编写RDD数据处理过程。RDD 的创建val spark
2021-09-03 11:02:10
173
原创 HDFS 的 API 操作
// 获取文件系统 Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop:8020"), configuration,"root"); // 创建目录 if (!fs.exists(new Path("/photo"))){ fs.mkdirs(new Path..
2021-08-11 18:40:14
48
原创 HDFS 的 Shell 操作
HDFS 的 Shell 操作类似于linux操作命令 只需要命令前加上hadoop fs - 或者 **hdfs dfs -**即可 创建文件夹hadoop fs -mkdir /photo上传文件hadoop fs -put 1.png /photo下载文件hadoop fs -get /photo/1.png ./查看文件hadoop fs -ls /photo拷贝文件 hadoop fs -cp /photo/1.png /移动文件 hadoop fs
2021-08-11 17:09:02
101
原创 Hadoop 集群启动/停止
Hadoop 集群启动/停止方式整体启动/停止 HDFSstart-dfs.sh/stop-dfs.sh整体启动/停止 YARNstart-yarn.sh/stop-yarn.sh 启动/停止 HDFS 组件hdfs --daemon start/stop namenode/datanode/secondarynamenode启动/停止 YARN 组件yarn --daemon start/stop resourcemanager/nodemanager 启
2021-08-11 16:34:11
56
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人