- 博客(14)
- 收藏
- 关注
RSS订阅原创 学习记录十三
n\n将ods库中customer表数据抽取到dwd库中dim_customer的分区表，分区字段为etldate且值与ods库的相对应表该值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填写“user1”， 、dwd_modify_time均填写操作时间，并进行数据类型转换。
2023-03-14 22:22:14
265
原创 大数据学习记录十一
1.Hive 是将 SQL 转为 MapReduce。SparkSQL 可以理解成是将 SQL 解析成：“RDD + 优化” 再执行（RDD 是一个数据集的表示，不仅表示了数据集，还表示了这个数据集从哪来，如何计算）
2023-03-13 08:31:54
210
原创 学习记录十
④LOAD DATA LOCAL INFILE"路径" INTO TABLE chy FIELDS TERMINATED BY ' ' IGNORE 1 LINES;(本地文件先把名字改为英文，编码改为utf8)2.mysql中导入本地文件.TXT.csv。③CREATE TABLE chy (字段)1.复习昨天的数据处理及数据类型。INTO OUTFILE(路径)⑤SELECT (加一些字段)
2023-03-11 22:25:53
210
原创 大数据学习记录九
◎使用char和varchar是都需要一个参数，参数指代的是当前字符串能够存储的最大长度是多长，10代表的是最多只能储存十个字符，超出10个字符则会报错，char（10）: 即使储存一个字符，也会占用十个字符的空间，未占用的字符，其他空间会使用空格进行补位（性能好）varchar（10）: 如果只储存了一个字符，它就占用一个字符的空间，储存两个字符，就占两个字符的空间。◎带blob的是用来描述二进制数据的，带test的是用来描述文本数据的二进制数据。
2023-03-10 22:50:38
212
原创 大数据学习记录八
可以在数据表中设置指定的字段为PRIMARY KEY (主键)或者unique（唯一）索引来保证唯一性。设置了双主键那么键的默认值不能为null，可设置为not null。UPDATE 表名 SET 字段名1=字段值1[,字段名2=字段值2] [WHERE 条件表达式];如果需要读取不重复的数据可以在SELECT语句中使用DISTINCT关键字来过滤重复数据。◎2和3都需要where id＝来匹配使用，否则会默认。delete form 表名。4.MySQL处理重复数据。3.删除表中指定数据。
2023-03-09 21:41:39
221
原创 大数据学习记录七
1.安装MySQL2.查看数据库3.查看数据库中包含的表4.创建新的数据库5.创建新的表◎规整表格6.增添新的字段7.删除数据库
2023-03-08 22:13:33
227
原创 大数据学习记录六
MySQL1.数据库:按照数据结构来组织，储存，管理数据的仓库。2.术语:3.MySQL连接◎使用MySQL二进制方式进入到mysql命令提示符下来连接mysql数据库。◎使用PHP脚本连接mysqlPHP提供了mysqli_connect（）函数来连接数据库。该函数有六个参数，在成功链接到mysql后返回连接标识，失败返回false。4.创建数据库◎我们可以在登陆mysql服务后，使用Create 命令创建数据库，语法如下:C
2023-03-07 21:33:14
54
原创 大数据学习记录五
Scala运算符1.2.3.4.◎Scala中没有像Java ++ --的符号，可以用+=、-=来实现同样的效果。5.Scala IF-ELSE语句如果if表达为true则执行大括号内的语句块，否则跳过大括号内的语句块，执行下一个语句块。◎可进行单分支，双分支，三分支6.Scala循环◎for循环 : 用来重复执行一系列语句直到特定条件达成，一般通过在每次循环完成后增加计数器的值来实现。语法:for （var x <-Range）｛
2023-03-06 22:06:42
46
原创 大数据学习记录四
1.数值类型自动转换基本说明:object Scala｛ def main（args: Array[string]: ）Unit=｛ //自动提升原则: 有多种类型的数据混合运算时，系统会自动将所有数据转化成精度大的那种数据类型，然后再进行计算。 val a1: Byte =10 val b10: Long = 3456 val result1: Long = a1+b1 val result2: Int =(a1+
2023-03-05 22:25:55
1070
1
原创 大数据学习记录三
1.读写文件◎从文件中读取数据object scala｛def main（args: Array[String]: Unit=｛Source.fromFile("文件路径.txt").foreach(print) ｝◎将数据写入文件（Scala里面并没有给我们提供专门写入到文件里面的工具，因为Java里面都有，在Scala里面可以直接调用Java里面的类和相关方法）val writer = new Printwriter(new File (pathname="文件路径"))
2023-03-04 21:19:03
87
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人