排序:
默认
按更新时间
按访问量

SparkMLib学习第二部分

特征抽取、转换和选择 抽取:从原始数据中抽取特征 转换:缩放、转化或修改特征 选择:从大特征集中选择子特征集 局部敏感哈希(locality Sensitive Hashing,LSH): 特征抽取TF-IDFTF-IDF是在文本挖掘中广泛使用的特征矢量化方法,其中来反应语料库中的一个术语在一篇文...

2017-03-08 16:55:30

阅读数:373

评论数:0

SparkMLib Pipelines学习(一)

Spark MLib引导MLib是Spark的机器学习库,其目标是实现实用机器学习的课扩展性和易用性。概括来说,它提供了如下的工具: 机器学习算法:通用的机器学习算法,如分类、回归、聚类、和协同过滤 特征化:特征抽取,转换,降维 管道:用于构建、评估和调整ML管道的工具 持久化:保存和装载算法、模...

2017-03-04 22:37:36

阅读数:298

评论数:0

hive学习笔记第四部分

六、模式设计传统数据库用户视图一直关系型数据库中的模式,但是Hive是反模式的。1、关于分区 hive一个分区对应包含多个文件的文件夹,如果表分区数过多或此类型的表过多,会造成namnode管理文件元数据过大,超过系统处理能力 理想分区方案不该产生太多的分区和文件夹目录。 按照不同的时间里粒度来确...

2017-03-03 22:25:03

阅读数:324

评论数:0

hive学习笔记第三部分

五、数据操作1、向表中装载数据新关键字overwrite会转移数据的存储路劲,并且会覆盖原来表中的数据。LOAD DATA LOCAL INPATH '/file/path' OVERWRITE INTO TABLE test PARTITION (country='CN',state='bj')...

2017-03-02 15:24:35

阅读数:156

评论数:0

hive学习笔记第二部分

Hive学习文档三、数据类型和文件格式 Hive支持关系型数据库中的大多数基本数据类型,同时也支持关系数据库中很少出现的3中集合数据类型。 1、基本数据类型Hive所支持的基本数据类型 以上数据类型都是对Java中接口的实现,类型的具体行为细节和Java中对应的类型完全一...

2017-03-01 18:42:16

阅读数:236

评论数:0

hive学习笔记第一部分

Hive学习文档一、基础知识 Hive最适合于数据仓库的应用程序,使用该应用程序进行相关的静态数据分析,不需要快速的结果响应,而且数据本身不会频繁变化。 Hive不支持记录级别的更新、插入或者删除操作,但是用户可以将生成的新表或者查询结果导入到文件中。 Hive查询延时比较严重,并且不支持事务。 ...

2017-02-28 21:34:07

阅读数:250

评论数:0

SparkBroadcast源码剖析

Spark BroadCast源码剖析/** *BroadCast源码 */package org.apache.spark.broadcastimport java.io.Serializableimport scala.reflect.ClassTagimport org.apache.s...

2017-02-27 15:26:54

阅读数:170

评论数:0

GeoServer数据库连接与配置

本节主要有一下几个部分: 1 建立数据库DataStore 2 创建地理特征类型FeatureType 3 预览加载的数据 4 编辑样式表SLD 下面以上节已经导入的beijing_area(北京区域图)数据表为例开始配置数据库GeoServer与数据库的连接。 建立...

2016-11-26 13:20:17

阅读数:1948

评论数:0

PostgreSql角色、用户创建

PostgreSQL数据库、角色、用户创建1、数据库角色数据库角色与操作系统用户的观念完全不同,其可以方便的维护数据库,但不是必须的。 创建数据库角色CREATE ROLE name; 删除存在的角色DROP ROLE name; 创建和删除用户CREATE USER name;dropuser ...

2016-11-16 17:24:44

阅读数:10058

评论数:0

RedHat6.x伪分布安装Greenplum

RedHat6.x伪分布安装Greenplum 重要:对于所有的Greenplum数据库系统,SELinux和防火墙必须关闭 关闭防火墙和SELinux(root用户) 查看防火墙运行状态 # chkconfig –list iptables输出如下内容 # iptables 0:off...

2016-07-19 10:58:41

阅读数:764

评论数:0

页面利用setTimeout实现动态刷新

在不同的时间显示不同的提示信息 function show(){ var date = new Date(); //日期对象 var now = ""; now = date.getFullYear()+"年"; //读英文就行了 ...

2016-06-24 19:59:10

阅读数:1227

评论数:0

HTML获取单选按钮的值

25岁以下 25~35岁 35~50岁 50岁以上 function get(){ var value=''; var radio = document.getElementsByName("radio"); for(var i = 0;i<...

2016-06-21 09:29:43

阅读数:15314

评论数:0

PostGIS安装与导入数据

安装 在官方网站http://www.postgresql.org下载postsql.exe,解压后运行postgresql.如果没有特殊说明,使用默认值即可,但是postgresql安装的位置所在的盘必须是NTFS格式的。安装步骤如下: 设置登录密码 数据库连接端口,这里采用...

2016-04-11 16:28:18

阅读数:6660

评论数:0

Openlayers访问GeoServer发布的地图服务

利用OpenLayers访问Geoserver发布的地图服务。要访问Geoserver发布的地图,首先要确定访问的URL,方法是打开Geoserver,在LayerPreview中找到要访问的地图,单击该地图后面的OpenLayers,如下图所示 浏览器中的地址:http://localho...

2016-04-11 16:04:15

阅读数:4850

评论数:0

GeoServer安装和发布服务

GeoServer安装和发布服务1.安装Tomact服务器.   1、首先去官网下载最新版的tomcat,然后解压。  2、打开文件夹,在目录下找到bin文件夹,找到里面的startup.bat。双击这个文件夹就可以启动服务器。 startup.bat startup.bat  3、接着弹...

2016-04-10 23:01:49

阅读数:8287

评论数:4

OpenLayers中layer图层概念和实践

OpenLayers有多个不同的图层类,每一个都可以连接到不同的地图服务器。例如通过Layer.WMS类可以连接到WMS地图服务器,通过Layer.Google类可以连接到谷歌地图服务器。OpenLayers中的每个图层都是独立的,对一个的操作不会影响到另外一个。 不管地图应用的目的是什么,一个...

2016-04-10 00:30:53

阅读数:3572

评论数:0

OpenLayers开篇: Hello OpenLayers

作为整个项目的一部分,要学习openlayers的基础知识,在此写下学习openlayers的基本思路,希望一起努力! 1、什么是openlayers OpenLayers是一个用于开发WebGIS客户端的JavaScript包。OpenLayers 支持的地图来源包括Google Maps、Ya...

2016-04-08 23:14:29

阅读数:1387

评论数:0

javaweb2.2 DOM解析之增删改查

javax.xml.transform包中的Transformer类用于把代表XML文件的Document对象转换成XML格式进行输出 Transformer对象通过TransformerFactory获得 Transformer类通过transform方法完成转换操作,该方法接收一个源和一个目的...

2016-03-03 19:20:21

阅读数:330

评论数:0

javaWeb2.1 XML解析方式之DOM解析

DOM   Document Object Model--------文档对象模型 DOM思想:将整个xml加载到内存中,形成文档对象,所有对xml的操作都在内存文档中进行 DOM是官方xml解析标准 DOM是以层级结构组织的节点或信息片段的集合,是xml数据的一种树形表示 文档中所有的元素、...

2016-03-03 18:22:45

阅读数:297

评论数:0

C++ bitset详细解析

C++中提供了bitset位类库,用于简化对位集的操作。 bitset定义时,要明确多少位: 直接定义方式 bitset bitver;//32位,位值都是0 unsigned long方式定义 bitset bitver(0xffff);//0-15位为1,其他位为0 字符串方式定义 bitse...

2015-07-23 22:13:16

阅读数:638

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭