- 博客(14)
- 收藏
- 关注
原创 学习记录十三
n\n将ods库中customer表数据抽取到dwd库中dim_customer的分区表,分区字段为etldate且值与ods库的相对应表该值相等,并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填写“user1”, 、dwd_modify_time均填写操作时间,并进行数据类型转换。
2023-03-14 22:22:14
265
原创 大数据学习记录十一
1.Hive 是将 SQL 转为 MapReduce。SparkSQL 可以理解成是将 SQL 解析成:“RDD + 优化” 再执行(RDD 是一个数据集的表示,不仅表示了数据集,还表示了这个数据集从哪来,如何计算)
2023-03-13 08:31:54
210
原创 学习记录十
④LOAD DATA LOCAL INFILE"路径" INTO TABLE chy FIELDS TERMINATED BY ' ' IGNORE 1 LINES;(本地文件先把名字改为英文,编码改为utf8)2.mysql中导入本地文件.TXT.csv。③CREATE TABLE chy (字段)1.复习昨天的数据处理及数据类型。INTO OUTFILE(路径)⑤SELECT (加一些字段)
2023-03-11 22:25:53
210
原创 大数据学习记录九
◎使用char和varchar是都需要一个参数,参数指代的是当前字符串能够存储的最大长度是多长,10代表的是最多只能储存十个字符,超出10个字符则会报错,char(10): 即使储存一个字符,也会占用十个字符的空间,未占用的字符,其他空间会使用空格进行补位(性能好)varchar(10): 如果只储存了一个字符,它就占用一个字符的空间,储存两个字符,就占两个字符的空间。◎带blob的是用来描述二进制数据的,带test的是用来描述文本数据的二进制数据。
2023-03-10 22:50:38
212
原创 大数据学习记录八
可以在数据表中设置指定的字段为PRIMARY KEY (主键)或者unique(唯一)索引来保证唯一性。设置了双主键那么键的默认值不能为null,可设置为not null。UPDATE 表名 SET 字段名1=字段值1[,字段名2=字段值2] [WHERE 条件表达式];如果需要读取不重复的数据可以在SELECT语句中使用DISTINCT关键字来过滤重复数据。◎2和3都需要where id=来匹配使用,否则会默认。delete form 表名。4.MySQL处理重复数据。3.删除表中指定数据。
2023-03-09 21:41:39
221
原创 大数据学习记录七
1.安装MySQL2.查看数据库3.查看数据库中包含的表4.创建新的数据库5.创建新的表◎规整表格6.增添新的字段7.删除数据库
2023-03-08 22:13:33
227
原创 大数据学习记录六
MySQL1.数据库:按照数据结构来组织,储存,管理数据的仓库。2.术语:3.MySQL连接◎使用MySQL二进制方式进入到mysql命令提示符下来连接mysql数据库。◎使用PHP脚本连接mysqlPHP提供了mysqli_connect()函数来连接数据库。该函数有六个参数,在成功链接到mysql后返回连接标识,失败返回false。4.创建数据库◎我们可以在登陆mysql服务后,使用Create 命令创建数据库,语法如下:C
2023-03-07 21:33:14
54
原创 大数据学习记录五
Scala运算符1.2.3.4.◎Scala中没有像Java ++ --的符号,可以用+=、-=来实现同样的效果。5.Scala IF-ELSE语句如果if表达为true则执行大括号内的语句块,否则跳过大括号内的语句块,执行下一个语句块。◎可进行单分支,双分支,三分支6.Scala循环◎for循环 : 用来重复执行一系列语句直到特定条件达成,一般通过在每次循环完成后增加计数器的值来实现。语法:for (var x <-Range){
2023-03-06 22:06:42
46
原创 大数据学习记录四
1.数值类型自动转换基本说明:object Scala{ def main(args: Array[string]: )Unit={ //自动提升原则: 有多种类型的数据混合运算时,系统会自动将所有数据转化成精度大的那种数据类型,然后再进行计算。 val a1: Byte =10 val b10: Long = 3456 val result1: Long = a1+b1 val result2: Int =(a1+
2023-03-05 22:25:55
1070
1
原创 大数据学习记录三
1.读写文件◎从文件中读取数据object scala{def main(args: Array[String]: Unit={Source.fromFile("文件路径.txt").foreach(print) }◎将数据写入文件(Scala里面并没有给我们提供专门写入到文件里面的工具,因为Java里面都有,在Scala里面可以直接调用Java里面的类和相关方法)val writer = new Printwriter(new File (pathname="文件路径"))
2023-03-04 21:19:03
87
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人