- 博客(12)
- 收藏
- 关注
RSS订阅原创 用Scala编程,在Spark RDD下, 实现 WordCount 的8种方式 (3/3)
//方式7 map + countByKey//方式8 countByValue
2022-08-05 17:44:04
405
原创 用Scala编程,在Spark RDD下, 实现 WordCount 的8种方式 (2/3)
//方式4 map + aggregateByKey//方式5 map + foldByKey//方式6map + combineByKey
2022-08-05 17:43:32
460
原创 用Scala编程,在Spark RDD下, 实现 WordCount 的8种方式 (1/3)
//方式1 map + reduceByKey。//方式2 map + groupByKey + mapValues。//方式3 groupBy + mapValues。
2022-08-05 15:27:50
531
原创 Hive 建表语句
# 建表语句CREATE TABLE ` struct_score` (`id` int,`course` struct<course:string,score:int>)ROW FORMAT SERDE'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'WITH SERDEPROPERTIES ('collection.delim'=',','field.delim'='\t','serialization.forma...
2022-04-18 23:54:21
1900
原创 hadoop 学习心得
Hbase 即 Hadoopbase 类似 database的叫法，虽然已经有HDFS了(Hadoop Distributed File System)，但是还需要删除 和 修改，所以，又有了Hbase： 分布式的，非结构化数据存储的，面向列的，关系数据库。
2022-04-18 00:05:01
4489
转载 SQL join
SQL join 用于把来自两个或多个表的行结合起来。下图展示了 LEFT JOIN、RIGHT JOIN、INNER JOIN、OUTER JOIN 相关的 7 种用法。
2022-04-15 23:40:54
53
原创 HQL 练手
# 在hive里， 之前把有 null 值的 行删了，用下面这句insert overwrite table ods_tset_stu select * from ods_tset_stu where name is not null;# 然后就出现了，空白的行，不显示为null，看着就是空的，insert overwrite table ods_test_stu select * from ods_test_stu where name !=' ';insert overwrite tab
2022-04-14 23:53:01
1476
原创 SQL 练手
SQLcreate database test;use test;create table stu( id int not null, name char(10));insert into stu(id ,name) values(1,'张三'),(2,'李四'),(3,'王五'),(4,'赵六');sqoop import--connect jdbc:mysql://192.168.5.102:3306/test--username root--password roo...
2022-04-13 23:49:55
621
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人