- 博客(12)
- 收藏
- 关注
RSS订阅原创 log4j.properties配置
log4j.rootLogger=error, stdout123log4j.appender.stdout123=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout123.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout123.layout.ConversionPa...
2019-11-05 12:10:59
295
原创 SparkSreaming消费kafka数据
/*导入依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-8_2.11</artifactId> <version>2.1.1</version>&l...
2019-10-28 14:52:16
262
原创 大数据开发岗：键盘输入字符串，实现字符反转
package com.back.yi.deve;import java.util.Scanner;/** * 从键盘输入字符串，实现字符串的反转 * start: hello world * end: olleh dlrow * */public class StringMain { public static void main(String[] args)...
2019-10-23 10:41:11
300
原创 大数据开发岗：java编程 输入任意的数将其分解成两个质数相加的形式，输出总共有多少总分解方式，分解因子不区分排序
package com.back.yi.deve;import java.util.ArrayList;import java.util.List;import java.util.Scanner;/** * java编程 输入任意的数（不超过1000000） * 将其分解成两个质数相加的形式， * 输出总共有多少总分解方式，分解因子不区分排序 * example * inp...
2019-10-23 10:38:36
3585
原创 SparkCore之MySql 读写数据
支持通过Java JDBC访问关系型数据库。需要通过JdbcRDD进行，示例如下:（1）添加依赖<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.**（2...
2019-03-14 10:23:32
957
原创 RDD之双value类型交互
spark 双value 类型交互 union(otherDataset) 案例1. 作用：对源RDD和参数RDD求并集后返回一个新的RDD2. 需求：创建两个RDD，求并集union() 源码： /** * Return the union of this RDD and another one. Any identical elements will appear mult...
2019-03-06 23:49:01
299
原创 Spark 之wordCount demo入门
package sparkimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDD/**linux 上的写法 * sc.textFile("input").flatMap(split(" ")).map(_,1).reduceNBykey(_+_).collect * ...
2019-03-05 22:54:03
404
原创 Scala 之类型约束——上下文界定（Context Bounds）
/** * 1) 要求：使用上下文界定+隐式参数的方式，比较两个Person对象的年龄大小 * 2) 要求：使用Ordering实现比较 */object ContextBounds { //定义一个隐式值 implicit val personCompartor = new Ordering[Person] { override def compare(p1: ...
2019-03-04 22:50:27
1056
原创 Scala 中类型约束—视图界定（View bounds）
/** * 使用视图界定 自定义隐式转换 比较两个person的年龄的大小 */object ViewBoundsDemo { def main(args: Array[String]): Unit = { val james = new Person2("james", 30) val kebe = new Person2("kebe", 35) im...
2019-03-04 20:27:09
308
原创 Scala 之嵌套匹配
/** * 嵌套匹配模式 * * 样例类经常被用作嵌套结构. * * 例如: 某商场售卖货物, 经常把商品捆绑在一起进行打折销售. * * 案例: * * 现在有一些商品，请使用 Scala 设计相关的样例类，完成商品可以捆绑打折出售。 * * 要求商品捆绑可以是单个商品，也可以是多个商品。 * * 打折时按照折扣xx元进行设计. * ...
2019-03-03 11:55:46
425
1
原创 HBase 实战之谷粒微博
HBase 实战之谷粒微博微博内容的浏览，数据库表设计用户社交体现：关注用户，取关用户拉取关注的人的微博内容代码设计总览创建命名空间以及表名的定义创建微博内容表创建用户关系表创建用户微博内容接收邮件表发布微博内容添加关注用户移除（取关）用户获取关注的人的微博内容测试ps:只是简单的实现了关注用户功能 发布微博 获取被关注的id 最新发布的3条微博 查看自己发...
2019-02-14 11:28:05
1442
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人