- 博客(9)
- 资源 (10)
- 收藏
- 关注
原创 [Spark应用]-- 自定义spark udf计算单词的长度
Spark Sql的UDF函数非常好用,相比Hive,很简洁 import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache.spark.sql.types.StructTypeimport or...
2016-05-30 19:53:54 1671
原创 [Spark应用]-- spark sql版本的单词统计代码
见下面代码实现import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache.spark.sql.Rowimport org.apache.spark.sql.types.DataTypesimpo...
2016-05-30 19:50:46 997
原创 [Spark应用]-- 实现uv统计(使用内置函数)
废话不多说,具体实现代码如下import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache.spark.sql.Rowimport org.apache.spark.sql.types.StructTyp...
2016-05-30 19:45:03 3898
原创 [Spark应用]-- 使用spark的dataframe实现单词统计
一、文件内容worldhellowwwcassiewwwhellowwwlisiworldcassiehello二、操作类package com.day.scala.sqlimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark...
2016-05-27 16:24:06 3429
翻译 [HBase进阶]--rowkey设计要点(官方文档介绍)
官方文档说明 http://hbase.apache.org/book.html#rowkey.design一、Hotspotting(热点效应) 1、hbase是字典排序,这是一种优化扫描的方式,它允许你去把相关的行存储在一起,如果设计rowkey不当会产生严重热点效应2、性能下降:当一大波数据流向同一个节点时,热点效应即发生,导致该区域不可使用3、均匀分布数据到re...
2016-05-26 13:14:21 2811
原创 [Freemaker基础]-- java使用freemaker生成xml
1、创建java project-------》freemaker,再导入jar包(freemarker.jar)2、编写ftl文件----》kvm.ftl(内容见备注一)3、编写测试类:TestCreate.java(内容见备注二)4、运行测试类即可【备注一】<domain type='kvm'><name>${kvmName}</name>&l...
2016-05-23 14:06:54 1154
原创 [Hadoop基础]--java操作hdfs(上传、下载、查询)
一、新建java project二、导入hdfs的配置文件到src目录下core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml三、导入相关jar(hadoop的所有jar包)四、编写测试类import java.io.File;import java.io.FileInputStream;import org.apache.commons....
2016-05-23 13:37:33 1423
原创 [Maven基础]-- maven的setting.xml配置国内常用静态源
<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="
2016-05-19 18:14:53 6207
原创 [数据库druid连接池实现]--Java版本
前言 之前有介绍一篇关于自定义的数据库链接池实现,但是质量并不高。而且遭到博友的一脸嫌弃!确实,拿出来的东西就应该保证是正确的,或者质量高,否则很容易就误导了他人,显得TMD也不道德,所以今天专门重写之前的想法,当然,还有许多文章需要更新,后期我都会一一完善,希望对各位有一定的帮助。 目前针对Java web应用使用的数据库链接池比较多也很杂,但稳定且好用的还是推荐阿里巴巴的dru...
2016-05-09 21:02:22 7250 5
Canal开源产品介绍
2018-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人