- 博客(13)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Spark学习（二）
RDD（resilient distributed dataset）RDD概念RDD（Resilient Distributed Dataset）是一个弹性分布式数据集，是SPark提供的抽象的弹性分布式数据集(RDD)，它是可以并行操作的跨集群节点的元素集合。RDDs是从Hadoop文件系统中的一个文件(或任何其他Hadoop支持的文件系统)或驱动程序中现有的Scala集合开始创建的，并对其...
2018-10-30 20:37:21
352
原创 Spark学习（一）
SparkSpark简介Lightning-fast unified analytics engine(快如闪电的统一分析引擎),是一个用于大规模数据处理的统一分析引擎。Apache Spark 是一个快速的, 多用途的集群计算系统。它提供了 Java, Scala, Python 和 R 的高级 API，以及一个支持通用的执行图计算的优化过的引擎. 它还支持一组丰富的高级工具, 包括使用...
2018-10-29 20:34:35
4619
原创 Scala（四）-- Actor编程
Actor编程1.Actor模型1.1 什么是Actor一个Actor指的是一个最基本的计算单元。它能接收一个消息并且基于其执行计算。这个理念很像面向对象语言，一个对象接收一条消息（方法调用），然后根据接收的消息做事（调用了哪个方法）。Actors一大重要特征在于actors之间相互隔离，它们并不互相共享内存。这点区别于上述的对象。也就是说，一个actor能维持一个私有的状态，并且这个...
2018-10-27 17:46:28
437
原创 Scala（三）常用功能
1.模式匹配和样例类1）模式匹配Scala是没有Java中的switch case语法的，相对应的，Scala提供了更加强大的match case语法，即模式匹配，来替代switch case，match case也被称为模式匹配match case的语法如下：变量 match { case 值 => 代码 }如果值为下划线“_”，则代表了不满足以上所有情况下的默认情况如何处理。...
2018-10-27 17:02:28
369
原创 Scala（二）-- 类、对象、继承、特质
1.类1）在scala中，类并不用声明为public如果没有定义构造器，类会有一个默认的无参构造器var修饰的变量，对外提供getter setter方法val修饰的变脸，提供getter方法，没有setter方法var name:String = __表示一个占位符，编译器会根据你变量的具体类型赋予相应的初始值使用占位符，变量类型必须指定，val修饰的变量不能使用占位符class...
2018-10-27 16:21:18
448
原创 hbase(二)
hbase与hive的整合数据存储、查询 数据分析整合的目的：hbase中表的数据在hive中能够查询到hive中表的数据在hbase中能够查询到整合的步骤：1、在hive中创建hbase能看到的表create table if not exists hbase2hive(uid int,uname string,age int)stored by 'org.apache....
2018-10-22 21:16:19
184
原创 Scala（一）-- 语法简介
scalaScala(Scalable Language)以一种简洁、高级的语言将面向对象和函数式编程结合在一起.Scala的静态类型有助于避免复杂应用程序中的bug，它的JVM和JavaScript运行时允许您构建高性能的系统，可以轻松地访问庞大的库生态系统。1、scala的特点：（1）、面向对象scala是一个纯面向对象的语言，所有的值都是对象、类和对象行为用类和特质来描述（2）、函...
2018-10-22 21:10:25
4349
原创 影评项目（hive）
现有如此三份数据：1、users.dat数据格式为： 2::M::56::16::70072对应字段为：UserID BigInt,Gender String,Age Int,Occupation String,Zipcode String对应字段中文解释：用户id，性别，年龄，职业，邮政编码2、movies.dat数据格式为： 2::Jumanji (1995)::Adventur...
2018-10-21 10:08:47
1291
原创 hbase（一）
为什么有hbase?随着数据量越来越大，传统的关系型数据库不能满足存储需求，hive虽然能满足存储，但是不能满足非结构化或者半结构化的数据存储和高效查询。HBASE是什么？Apache HBase™ is the Hadoop database, a distributed, scalable, big data store.Use Apache HBase™ when you need ...
2018-10-10 20:35:08
210
原创 hive详解（函数）
内置函数：show functions; 查看函数desc function; 查看用法排名函数：（3种）row_number():没有并列，相同名次按顺序排（同分不同名）rank():有并列，相同名次空位dense_rank():有并列，相同名次不空位班级成绩排名前三的：create table stu_score(classId string,userN...
2018-10-08 21:43:39
1029
转载 Java通过出生日期计算星座、(生肖)
Java根据生日得出是十二星座的哪一个星座方法一：public static String star(int month, int day) { String constellation = ""; if (month == 1 && day >= 20 || month == 2 && day &
2018-10-08 21:19:15
7200
1
原创 hive查询时怎么显示字段名？
在hive查询中我们发现hive的查询输出不显示列名，怎么解决呢？解决办法：进入hive cli后： set hive.cli.print.header=true;hive> select * from ratings limit 5;OKratings.userid ratings.movieid ratings.rating ratings.timestamped1 1193 ...
2018-10-04 16:55:46
10838
4
原创 shell 脚本替换文件中的某个字符串
1、将当前目录下包含"qwe"串的文件中的"qwe"字符串替换为"abc"sed -i "s/qwe/abc/g" `grep "qwe" -rl ./`2、将某个文件中的"qwe"字符串替换为"abc"sed -i "s/qwe/abc/g" test.txt如果将某个文件中以"qwe"开头的字符串修改为“abc”：
2018-10-04 11:50:06
32649
1
飞行棋,通过设置关卡，竞速小游戏
2018-08-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人