自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

阿生

天心有晴

  • 博客(6)
  • 资源 (2)
  • 收藏
  • 关注

原创 scala 隐式转换,隐式参数,隐式类

Scala隐式转换Scala的隐式转换是一个十分常用的功能这里我们将介绍怎么简单的使用隐式转换。package data/** * Created by LiuWenSheng on 2017/9/29. */class MyInt(i:Int){ private val pro = i def +(x:MyInt)= new MyInt(x.pro+this.pro)}obj

2017-09-29 12:11:31 370

原创 机器学习数据集

学习机器学习苦于没有数据,下面介绍几个公开的数据集UCL机器学习知识库:包括近300个不同大小和类型的数据集,可用于分类、回归、聚类和推荐系统任务。(点击打开网址)Amazon AWS数据集:包含的通常是大型数据集,可通过Amazon S3访问。这些数据集包括人类基因组项目、Common Crawl网页语料库、维基百科数据和Google Books Ngrams(点击打开网址)Kaggle:这

2017-09-27 11:13:07 684

原创 LinkedBlockingDeque

LinkedBlockingDequeJDK上面介绍:是一个基于已链接节点的、任选范围的阻塞双端队列。可选的容量范围构造方法参数是一种防止过度膨胀的方式。如果未指定容量,那么容量将等于 Integer.MAX_VALUE。只要插入元素不会使双端队列超出容量,每次插入后都将动态地创建链接节点。大多数操作都以固定时间运行(不计阻塞消耗的时间)。异常包括 remove、removeFirstOccurre

2017-09-13 14:56:15 370

原创 FileSystem类的方法使用

由于经常使用FileSystem这个类,但是对这个类的API不是很熟悉导致了一些不必要的麻烦,所以本人翻译了一下这个类。所属的包: org.apache.hadoop.fs FileSystem –>通用文件系统的抽象基类,可以作为一个分布式文件系统的实现,也可以作为连接本地磁盘的文件系统 本地版存在于小型的hadoop实例和测试中。 所有可能用到分布式文件系统的用户代码都因该使用File

2017-09-05 15:53:00 11271 2

原创 Greenplum 基本使用命令

greenplum 常用命令登录命令 :spql + 数据库名查看数据库中的表:psql -l 或者登录到数据库之后使用\d //如果查看详细信息就使用\d 表名如果需要导入.sql文件则在进入数据库之后使用命令\i +你的.sql文件如果没有进入数据库可以使用psql 数据库名 -f 你的.sql文件从csv文件中导入数据copy 表名 from 'scv文件的绝对路径' with csv h

2017-09-05 15:47:05 3292

原创 greenplum去重问题

最近一直为greenplum去重问题烦心,原本以为很简单的一个问题,使用distinct就可以解决,但是实际操作起来却发现并没有那么简单。还是请教了一些大神才解决这个问题,于是心想记录下来。下面就说说大神是怎么做的吧。1、确定重要字段假设你的字段有很多,但是你不知道哪些字段比较重要的(使用这些字段可以区分不行同的数据),那么你就需要逐一检验。如:select a,b,count(*

2017-09-05 08:44:09 2636

winutils.zip

Failed to locate the winutils binary in the hadoop binary path 如果没有winutil.exe这个文件在运行hadoop程序的时候肯定报错,每次换开发环境都要找一下这个winutil文件,这次打包一下记录下来,从hadoop2.6到hadoop3.0,所有的winutils都在这了

2019-06-12

hadoop,spark,hbase,zookeeper,kafka配置文件

hadoop,spark,hbase,zookeeper,kafka配置文件。 例如: &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;?xml-stylesheet type="text/xsl" href="configuration.xsl"?&gt; &lt;!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License. See accompanying LICENSE file. --&gt; &lt;!-- Put site-specific property overrides in this file. --&gt; <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/bigData/bigdata/hadoop/tmp</value> </property> </configuration>

2017-10-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除