- 博客(10)
- 收藏
- 关注
RSS订阅原创 列表重复元素重命名
问题记录：重复元素重命名 list=["aa","aa","bb","a","dd","ee","ee","f","aa","aa"] counts = {} for index, key in enumerate(list): if key in counts: counts[key] += 1 list[index] = f'{key}_.{counts[key]}' else:
2022-01-17 18:25:23
476
原创 配置的问题
2020-09-06 17:59:10,424 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Diagnostics report from attempt_1599375175649_0007_m_000000_0: Error: java.io.IOException: java.io.IOException: java.lang.ClassCastE..
2020-09-09 14:26:54
284
原创 数仓ODS,DWD,DWS层
数据仓库中的数据表，往往是分层管理、分层计算的；所谓分层，具体来说，就是将大量的数据表按照一定规则和定义来进行逻辑划分；ADS层： 应用服务层 DWS层：数仓汇总层 DWD层：数仓明细层 ODS层：操作数据（最原始的数据）层 -- 贴源层 DIM层：存储维表ODS层：对应着外部数据源ETL到数仓体系之后的表！DWD层：数仓明细层；一般是对ODS层的表按主题进行加工和划分；本层中表记录的还是明细数据；DWS层：数仓汇总层；ADS层： 应用层，主要是一些结果报表！分层的意义：数
2020-09-04 16:29:58
13794
原创 集群环境搭建
HADOOP版本选择3.1.1ssh免密配置文件hadoop-env.sh core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 编写workersname 启动脚本添加安全用户定义 /etc/profileexport JAVA_HOME=/opt/apps/jdk1.8.0_191/export HADOOP_HOME=/opt/apps/hadoop-3.1.1export PATH=$PATH:$JA
2020-08-31 22:24:40
315
原创 笔记:spark:wordcount
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.FlatMapFunction;import org.apache.spar.
2020-08-04 21:57:25
111
原创 笔记:scala面向对象
类:在scala源文件中可以包含多个类,所有这些类都具有可见性定义//主构造器会执行类中定义的所有语句class Test(val money: Double) { private var gender = "M" //用this关键字定义辅助构造器 def this(money:Double,gender: String) { //每个辅助构造器必须以主构造器或其他的辅助构造器开始 this(money) this.gender = gender
2020-08-02 22:37:10
59
原创 笔记:scala:WordCount
WordCount入门案例object WordCount { def main(args: Array[String]): Unit = { val lines = List("hadoop spark fink tomcat hive ", "hadoop scala scala spark zookeeper", "scala spark") //val result = lines.flatMap(_.split(" ")).map((_, 1)).groupBy(_._.
2020-08-02 21:29:25
81
原创 笔记:Linux系统命令总结
Linux系统目录结构/bin :(binaries) 用于存放系统命令,所有的用户都可以执行 /sbin :(super user binaries) 用于存放系统环境相关的命令,只有超级用户可以使用,有些普通用户可以使用 /user/bin :存放系统命令的目录,所有用户可以执行.这些命令和系统启动无关,单用户模式下不能执行 /usr/sbin：存放根文件系统不必要的系统管理命令，超级用户可执行 /root : 存放root用户的相关文件,root用户的家目录。宿主目录 超级用户 ..
2020-08-02 14:32:32
105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人