- 博客(6)
- 资源 (2)
- 收藏
- 关注
原创 scala 隐式转换,隐式参数,隐式类
Scala隐式转换Scala的隐式转换是一个十分常用的功能这里我们将介绍怎么简单的使用隐式转换。package data/** * Created by LiuWenSheng on 2017/9/29. */class MyInt(i:Int){ private val pro = i def +(x:MyInt)= new MyInt(x.pro+this.pro)}obj
2017-09-29 12:11:31 370
原创 机器学习数据集
学习机器学习苦于没有数据,下面介绍几个公开的数据集UCL机器学习知识库:包括近300个不同大小和类型的数据集,可用于分类、回归、聚类和推荐系统任务。(点击打开网址)Amazon AWS数据集:包含的通常是大型数据集,可通过Amazon S3访问。这些数据集包括人类基因组项目、Common Crawl网页语料库、维基百科数据和Google Books Ngrams(点击打开网址)Kaggle:这
2017-09-27 11:13:07 684
原创 LinkedBlockingDeque
LinkedBlockingDequeJDK上面介绍:是一个基于已链接节点的、任选范围的阻塞双端队列。可选的容量范围构造方法参数是一种防止过度膨胀的方式。如果未指定容量,那么容量将等于 Integer.MAX_VALUE。只要插入元素不会使双端队列超出容量,每次插入后都将动态地创建链接节点。大多数操作都以固定时间运行(不计阻塞消耗的时间)。异常包括 remove、removeFirstOccurre
2017-09-13 14:56:15 370
原创 FileSystem类的方法使用
由于经常使用FileSystem这个类,但是对这个类的API不是很熟悉导致了一些不必要的麻烦,所以本人翻译了一下这个类。所属的包: org.apache.hadoop.fs FileSystem –>通用文件系统的抽象基类,可以作为一个分布式文件系统的实现,也可以作为连接本地磁盘的文件系统 本地版存在于小型的hadoop实例和测试中。 所有可能用到分布式文件系统的用户代码都因该使用File
2017-09-05 15:53:00 11271 2
原创 Greenplum 基本使用命令
greenplum 常用命令登录命令 :spql + 数据库名查看数据库中的表:psql -l 或者登录到数据库之后使用\d //如果查看详细信息就使用\d 表名如果需要导入.sql文件则在进入数据库之后使用命令\i +你的.sql文件如果没有进入数据库可以使用psql 数据库名 -f 你的.sql文件从csv文件中导入数据copy 表名 from 'scv文件的绝对路径' with csv h
2017-09-05 15:47:05 3292
原创 greenplum去重问题
最近一直为greenplum去重问题烦心,原本以为很简单的一个问题,使用distinct就可以解决,但是实际操作起来却发现并没有那么简单。还是请教了一些大神才解决这个问题,于是心想记录下来。下面就说说大神是怎么做的吧。1、确定重要字段假设你的字段有很多,但是你不知道哪些字段比较重要的(使用这些字段可以区分不行同的数据),那么你就需要逐一检验。如:select a,b,count(*
2017-09-05 08:44:09 2636
winutils.zip
2019-06-12
hadoop,spark,hbase,zookeeper,kafka配置文件
2017-10-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人