数据库
文章平均质量分 86
源14
这个作者很懒,什么都没留下…
展开
-
tomcat6.0连接池的配置,连接池配置
//tomcat 6.0 oracle 11g //找到项目的META-INF //建立一个context.xml文件,下面是文件内容 auth="Container" type="javax.sql.DataSource" driverClassName="oracle.jdbc.driver.OracleDriver"原创 2014-03-18 10:18:25 · 439 阅读 · 0 评论 -
[数据库]MongoTemplate之分组分页复合条件查询
分组查询 //条件一 where gradeId in (集合) and mark=true Criteria criteria=Criteria.where("gradeId").in(gradeIds).and("mark").is(true); if(null != status && status.size() >0){原创 2017-09-19 11:12:59 · 10193 阅读 · 0 评论 -
[大数据]连载No5之Scala(特性,数据类型,类,集合,函数)
目录见清单part 4.scala 定义常量val (不可更改) 定义变量var 定义方法 def(Unit方法的返回值) //常量 val name: String = "xiaoshitou" //变量 var age = 10 //Unit说明这个方式没有返回值 def sayName(): Unit = { printf("name:" + name + "\原创 2018-01-25 15:51:14 · 198 阅读 · 0 评论 -
[大数据]连载No14之数据倾斜解决办法之双重聚合
背景:连个rdd进行join关联时,一方rdd存在大量数据倾斜的key,如果通过reduceBykey,设置分区数为10,由于相同key,占用数据比例大,其余9个task可能是至于空闲状态,而另外一个task却要处理大量数据,导致任务分配不均匀解决办法:双重聚合思路:1、通过抽样,排序,take前几,找到导致数据倾斜的key2、数据倾斜rdd,倾斜key加随机前缀,比如随机前缀为53、另外一方rd...原创 2018-05-27 11:39:14 · 292 阅读 · 0 评论 -
[大数据]连载No17之Kafka搭建+SparkStreaming整合Kafka
本次总结图如下Kafka特点:1、分布式流平台,零拷贝,依赖zookeper,保存每一个消费者偏移量,kafka集群中一些元素(topic,partitions)2、主从建构,需要每一个节点启动kafka进程,主(leader)是在集群启动后选举出来的,不是用户选择的,类似zookeper概念:broker:每个节点producer:消息生产者consumer:消息消费者topic:主题,有多个p...原创 2018-06-05 11:22:23 · 923 阅读 · 0 评论 -
[大数据]连载No15之 Spark Sql
本次总结图如下Spark Sql介绍1、Shark是基于Spark计算框架之上的且兼容Hive语法的SQL执行引擎 ,但是底层依赖于Hive的解析器,查询优化器,正是由于Shark的整体设计架构对Hive的依赖性太强,难以支持其长远发张,无法满足Spark的一站式解决大数据处理问题2、Hive是Shark的前身,Shark是SparkSql的前身3、相对于Shark,SparkSQL的优势 a...原创 2018-05-30 21:00:36 · 156 阅读 · 0 评论 -
[大数据]连载No16之 SparkSql函数+SparkStreaming算子
本次总结图如下SparkSql可以自定义函数、聚合函数、开窗函数作用说明:自定义一个函数,并且注册本身,这样就能在SQL语句中使用 使用方式sqlContext.udf().register(函数名,函数(输入,输出),返回类型))代码public static void main(String[] args) { SparkConf conf = new SparkConf().setA...原创 2018-06-02 15:09:10 · 695 阅读 · 0 评论 -
[大数据]连载No19 Hbase Shell和API的增删改查+与MapperReducer读写操作
本次总结如下1、Hbase Shell的常用命令2、Java APi 对hbase的增删改查3、Mapper Reducer从hbase读写数数据,计算单词数量,并写回hbase登录hbase Shell[root@master ~]# /home/softs/hbase-0.98.12.1-hadoop2/bin/hbase shell1、表操作创建表user create 'test',...原创 2018-06-30 16:35:46 · 475 阅读 · 0 评论