[anaconda]jupyter notebook 安装配置

背景 现在在公司大数据平台部从事大数据基础组件开发工作,所需要涉及的知识面非常广,其中人工智能也是后续大数据基础平台建设的重要部分,于是就花了几千块报了个人工智能的课程。这个课程有一些前置基础课程,python就是其基础课程的一门。开始学习python,教学环境用的anaconda里面的jupy...

2019-03-26 17:42:16

阅读数 6

评论数 0

数据治理之元数据管理实践

引言 数字转型对不同的人意味着不同的东西,这取决于你的行业和你的业务性质。然而,所有的解释都有一个共同的主线,数据和数据治理的重要性。近年来,大家都在谈论数据逐步或已经成为企业的核心资产,数据驱动企业业务开展已经在不同的行业和企业中发挥着巨大的作用,那么作为企业的核心资产数据,如何进行管理是不同企...

2019-03-02 16:04:44

阅读数 151

评论数 0

数据质量监控工具-Apache Griffin

一、概述 随着业务发展和数据量的增加,大数据应用开发已成为部门应用开发常用的开发方式,由于部门业务特点的关系,spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时,数据的唯一性、完整性、一致性等等校验就开始受到关注,而通常做法是根据业务特点,额外开发job...

2019-02-02 07:45:13

阅读数 64

评论数 0

PyCharm 配置 Apache HUE 开发环境

Apache HUE 是一个操作hadoop生态各组件及组件管理的数据的集大成工具,其底层的 web 框架是python Django。现分享下如何基于 Pycharm 来搭建 Apache HUE 的开发环境。 需要注意的是,目前HUE只支持Linux环境安装编译,需要在Windows调试只能...

2018-12-24 21:56:17

阅读数 164

评论数 0

HUE4.3安装配置

HUE简介 Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,用Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进...

2018-12-23 00:08:33

阅读数 373

评论数 0

Thrift方式连接hiveServer2+Kerberos

最近在做一个大数据查询平台,后端引擎有部分用了hive,通过thrift的方式连接hiveServer2,由于集群加了kerberos,所以实现thrift连接hiveServer2的时候需要加上kerberos认证。网上查了很多文章,写的thrift连接hive都没有kerberos,分享一下,...

2018-12-09 15:40:26

阅读数 359

评论数 0

Redis 5 集群搭建

实验环境 在VMware中准备3个虚拟机,每个虚拟机部署2个redis,一主一从,实现一个总的3主3从的redis集群,主节点端口设置为7001,从节点设置为7002。 redis服务使用单独的redis用户和用户组启动。所有文件都在/home/redis目录下。 OS: CentOS-7-x8...

2018-11-14 23:26:08

阅读数 145

评论数 0

javascript 三种变量申明方式var、let、const

javascript 三种变量申明方式var、let、const var 申明了一个要么是全局,要么是函数级的变量;这种是我们最常见也是最常用的。 描述: 变量声明无论出现在代码的任何位置,都会在任何代码执行之前处理。 给一个非声明变量赋值会隐式创建一个全局变量(全局object的一个属性)。 ...

2018-10-14 16:08:08

阅读数 126

评论数 0

spring-boot整合shiro

概述 权限体系在现代任何IT系统中都是很基础但又非常重要的部分,无论是传统MIS系统还是互联网系统,出于保护业务数据和应用自身的安全,都会设计自己的授权鉴权策略。 最近项目中也需要用到权限验证功能,项目为spring-boot工程,现成的权限验证框架有shiro和spring-security,s...

2018-10-06 02:30:27

阅读数 3050

评论数 0

Orientdb基本操作

建模 1、 模型定义-销售数据库(saledb) 顶点继承自属性 人(Person)   姓名(name) 性别(sex) 出生日期(birthday) ...

2018-09-02 12:32:43

阅读数 1475

评论数 0

【JanusGraph】第十一章:使用索引提升性能

11. 使用索引提升性能 Chapter 11. Indexing for Better Performance JanusGraph支持2种类型的索引用以提升查询处理速度,分别是图索引(graph indexes)和中心节点索引(vertex-centric indexes)。大多数...

2018-09-02 11:09:12

阅读数 885

评论数 0

【JanusGraph】第八章:系统部署方案

第八章:系统部署型态 Chapter 8. Deployment Scenarios JanusGraph提供多种后端存储和后端索引,使其能够更灵活的部署。本章介绍了几种可能的部署场景,以帮助解决这种灵活性带来的复杂性。 在讨论部署场景之前,理解JanusGraph本身的角色定位和后...

2018-08-24 00:19:55

阅读数 970

评论数 0

【JanusGraph】第七章:JanusGraph服务

第七章:JanusGraph服务 Chapter 7. JanusGraph Server JanusGraph使用Gremlin Server作为服务组件对客户端请求进行请求处理响应。当JanusGraph打包的时候,Gremlin Server就被称为JanusGraph服务。 ...

2018-08-21 22:51:25

阅读数 1368

评论数 0

【JanusGraph】第五章:数据库建模

第五章:数据模型 Chapter 5. Schema and Data Modeling 每个JanusGraph图都是由边标签(edge label)、属性key、顶点标签(vertex label)构成。JanusGraph图模型(schema)可以显示定义也可以隐示定义。在实际应...

2018-08-18 00:03:49

阅读数 433

评论数 0

Neo4j安装

实验环境 实验环境:Win10下vmware虚拟机 操作系统:CentOS-7-x86_64-Minimal-1804 JDK:jdk-8u131-linux-x64 安装 neo4j安装非常简单,安装好jdk后,把neo4j程序包解压出来修改一个配置,启动即可。 安装JDK...

2018-08-15 23:54:21

阅读数 439

评论数 0

Graph Variables

Graph Variables TinkerPop3引入了Graph.Variables的概念。变量(Variables)是用于图自身管理的键值对,本质上就是一个Map<String,Object>对象。这些变量计划用于存储图的元数据信息,例如下面这些...

2018-08-07 23:32:03

阅读数 80

评论数 0

JanusGraph使用报错整理-JMX

实验环境 CentOS7 janusgraph-0.2.1-hadoop2 报错 gremlin> graph = JanusGraphFactory.open('conf/janusgraph-cassandra-embedded-es.properties'...

2018-07-25 23:25:15

阅读数 495

评论数 0

ElasticSearch安装报错整理-memory[262144]

实验环境 CentOS7 elasticsearch-6.2.4 具体错误 [1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

2018-07-20 23:43:57

阅读数 150

评论数 0

ElasticSearch安装报错整理-threads[4096]

ERROR: [2] bootstrap checks failed [1]: max number of threads [3802] for user [elasticsearch] is too low, increase to at least [4096] [2]: max virtua...

2018-07-20 23:00:17

阅读数 322

评论数 0

Spark集群安装

背景介绍 最近调到大数据部门,Spark属于大数据非常重要的基础组件,研究研究也是非常必要的,现实验安装一下,以便对其部署运行机制有个深刻的认识。 实验环境 实验环境:Win7下vmware虚拟机 操作系统:CentOS 6.5 x64 JDK:jdk-8u161-linux-x64 ...

2018-03-06 21:52:26

阅读数 284

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭