- 博客(53)
- 资源 (1)
- 收藏
- 关注
RSS订阅翻译 大数据开发之druid介绍
1：druid介绍1.1 druid是什么Druid的母公司MetaMarket在2011年以前也是Hadoop的拥趸者，但是在高并发环境下，Hadoop并不能对数据可用性以及查询性能给出产品级别的保证，使得MetaMarket必须去寻找新的解决方案，当尝试使用了各种关系型数据库以及NoSQL产品后，他们觉得这些已有的工具都不能解决他们的“痛点”，所以决定在2011年开始研发自己的“轮子”...
2019-09-08 16:49:53
2455
原创 大数据开发之scala操作hbase的工具类
pom文件 核心依赖<dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-client</artifactId><version>1.2.1</v...
2019-08-24 13:04:44
1175
原创 idea中maven工程无法创建scala class的解决办法
原因一：没有添加scala sdk解决：file=>project structure =>Global Libraries,添加scala-sdk:没有scala sdk的可以去网上下载。再检查一下.iml文件是否添加了scala sdk，没有的话加上：<orderEntry type="library" name="scala-sdk-2.11.8" l...
2019-08-21 21:27:38
1434
原创 Hive-Hbase练习之统计用户历史消费金额
需求假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。现person表有记录name=1,account=100，表示用户1在当天消费金额为100元。table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000元。基于某些业务要求，要求开发Spark应用程序实现如下功能：根据用户名累计用户的历...
2019-07-15 18:37:31
1003
翻译 Phoenix整合hbase
1 什么是Phoenix?phoenix，中文译为“凤凰”，很美的名字。Phoenix是由saleforce.com开源的一个项目，后又捐给了Apache基金会。它相当于一个Java中间件，提供jdbc连接，操作hbase数据表。Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表，插入数据，查询你的HBase数据。Phoenix的团...
2019-07-11 18:27:02
613
转载 MySQL经典练习题及答案，常用SQL语句练习50题
表名和字段–1.学生表Student(s_id,s_name,s_birth,s_sex) –学生编号,学生姓名, 出生年月,学生性别–2.课程表Course(c_id,c_name,t_id) – –课程编号, 课程名称, 教师编号–3.教师表Teacher(t_id,t_name) –教师编号,教师姓名–4.成绩表Score(s_id,c_id,s_score) –学生编号,课...
2019-06-25 17:36:24
181
翻译 大数据之sparkStreaming
目标1、掌握SparkStreaming原理和架构2、掌握DStream常用的操作3、掌握SparkStreaming整合flume4、掌握SparkStreaming整合kafka(★★★★★)2、sparkStreaming概述2.1 什么是sparkStreamingSpark Streaming makes it easy to build scalable fault...
2019-06-19 18:15:24
290
原创 大数据之sparkSql学习之原理,DataFrame,DataSet及idea代码开发
sparkSql学习之原理,DataFrame,DataSet及idea代码开发1、课程目标1、掌握sparksql原理2、掌握DataFrame和DataSet数据结构和使用方式3、掌握sparksql的应用程序开发2、sparksql概述2.1 sparksql前世今生shark是专门为spark准备的大规模数据仓库系统shark继承了hive大且复杂的代码，同时它也依赖...
2019-06-15 13:03:43
276
1
原创 sparkRdd算子的练习
启动spark-shell 进行测试：spark-shell --master spark://node1:7077练习1：map、filter//通过并行化生成rddval rdd1 = sc.parallelize(List(5, 6, 4, 7, 3, 8, 2, 9, 1, 10))//对rdd1里的每一个元素乘2然后排序val rdd2 = rdd1.map(_ * 2)....
2019-06-10 16:35:33
909
原创 JavaWeb三层联动案例:
JavaWeb三层联动案例: 一.数据库表:codeid parentid cityName11 0 北京1101 11 北京市辖110101 1101 东城区110102 1101 西城区110103 1101 崇文区110
2017-09-14 11:50:35
858
原创 JavaSe xml学习小结
掌握目标 能够说出XML的作用 能够编写XML文档声明 能够编写符合语法的XML 能够通过DTD约束编写XML文档 能够通过Schema约束编写XML文档 能够通过Dom4j解析XML文档xml的作用1. 存储和传输数据2. 作为框架的配置文件.写一个XML
2017-08-09 11:40:17
258
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人