作业
烙痕
这个作者很懒,什么都没留下…
展开
-
作业3:用Scala完成wordCount操作
源数据:hello hive goodmand good mandgood goodmand hello hive源码:package com.ruozedataimport scala.io.Sourceobject wordCount { def main(args: Array[String]): Unit = { val b = Source.fr...原创 2018-07-23 13:36:19 · 495 阅读 · 0 评论 -
作业11:累计报表
具体需求:用户 日期 流量熊猫tv 2018-01-02 5T快手 2018-01-02 3TYY 2018-01-02 2T抖音 2018-01-02 15T熊猫tv 2018-01-03 4T快手 2018-01-03 3TYY 2018-01-03 ...原创 2018-08-19 23:38:29 · 275 阅读 · 0 评论 -
作业10:求访问次数最多的资源文件
源代码:package com.ruoze.sparkimport org.apache.spark.{SparkConf, SparkContext}object LogApp { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("LogApp").se...原创 2018-08-16 16:28:05 · 191 阅读 · 0 评论 -
作业8:Flume应用
技术选型需求:netcat-memory-loggerAndHdfs:配置文件:netcat-memory-loggerAndHdfs.conf:a1.sources = r1a1.channels = c1a1.sinks=k1 k2a1.sources.r1.type = netcata1.sources.r1.bind = 192.168.137.252a1.source...原创 2018-08-03 01:42:29 · 229 阅读 · 0 评论 -
作业9:通过curator存储和读取偏移量
作业要求:以Scala代码编程,通过curator存储和读取偏移量(存储到ZK,从ZK读取)依赖包://为方便展示,就不把版本号抽取出来了。<dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-recipes</artifactId&...原创 2018-08-10 21:16:55 · 439 阅读 · 0 评论 -
作业7:HDFS小文件的解决方案
HDFS小文件解决方案:https://blog.csdn.net/Androidlushangderen/article/details/54176511Flume传递文件到HDFS解决小文件问题: 设置回滚参数:三个参数当满足其中一项时进行回滚操作,通常情况下三者搭配使用。hdfs.rollSize 1024 File size to trigger roll, in b...原创 2018-08-01 16:59:02 · 308 阅读 · 0 评论 -
作业6:不用drop命令,通过删除依赖关系删除表
查看已有的表:删除表的元数据:再次查看表:已删掉原创 2018-08-01 16:41:30 · 849 阅读 · 0 评论 -
作业5:画metadata表关系
原创 2018-07-31 19:44:00 · 177 阅读 · 0 评论 -
作业2:通过Scala以固定格式写数据到文件
题目要求:写数据到文件的操作: val randomFile = new RandomAccessFile("Path\\outputFile.txt","rw") val fileLength = randomFile.length; //得到文件长度 randomFile.seek(fileLength);//指针指向文件末尾 randomFile.w...原创 2018-07-22 14:29:31 · 1083 阅读 · 0 评论 -
作业4:本地HUE搭建步骤
HUE官方网站本地HUE搭建步骤官方介绍1.安装前的环境准备:sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel ...原创 2018-07-30 13:30:36 · 595 阅读 · 0 评论 -
作业1:通过ScalikeJDBC对MySQL进行增删查改
通过IDEA+Maven+Scala搞定在pom.xml文件中添加依赖 <dependency> <groupId>org.scalikejdbc</groupId> <artifactId>scalikejdbc_2.11</artifactId> <version>${s...原创 2018-07-20 21:02:33 · 1451 阅读 · 0 评论 -
作业12:多文件输出,以数据年份为文件名
数据:7369 SMITH CLERK 7902 1980-12-17 800.00 207499 ALLEN SALESMAN 7698 1981-2-20 1600.00 300.00 307521 WARD SALESMAN 7698 1981-2-22 1250.00 500.00 307566 JONES MANAGER 7839 1981-4-2 2975.00 20...原创 2018-08-28 19:26:08 · 257 阅读 · 0 评论