大步向前121

一辈子可长可短,回头看时,不会后悔就好。

排序:
默认
按更新时间
按访问量

Spark SQL官方文档

1、概述(Overview) Spark SQL是Spark的一个组件,用于处理结构化数据。 1.1 SQL Spark SQL除了用来执行SQL查询外,还可以读取Hive表数据。当使用编程语言运行sql时,结果会以数据集或数据帧(DataSet/DataFrame)的形式返回,当然,你也可...

2016-10-09 17:57:42

阅读数:213

评论数:0

莫名的烦躁

最近总是莫名的烦躁,烦躁的自己都不喜欢自己。 爸妈很正常的跟我说话,我也总能那么的不耐烦,我知道这么做不应该,可就是控制不住自己的情绪和语气。 我要好好调整自己,或许我应该恢复每天运动的习惯,心态会变的平和。

2016-06-07 09:01:12

阅读数:245

评论数:1

oracle--delete和truncate的区别

语法 delete from aa  truncate table aa  区别  1.delete from后面可以写条件,truncate不可以。 2.delete from记录是一条条删的,所删除的每行记录都会进日志,而truncate一次性删掉整个页,因此日至里面...

2016-06-01 09:16:09

阅读数:188

评论数:0

Zookeeper-分布式锁简单实现

1.zookeeper实现分布式锁的作用是什么? 2.ZooKeeper分布式锁的思路是什么? 3.ZooKeeper锁不安全,该如何解决? 4.你是否有实现ZooKeeper锁的思路? 场景描述 在分布式应用, 往往存在多个进程提供同一服务. 这些进程有可能在相同的机器上, 也有可能分布在不同...

2016-04-26 11:50:12

阅读数:456

评论数:0

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

一.概述 1.1 hadoop1.0的单点问题 Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1...

2016-04-12 11:50:51

阅读数:770

评论数:0

Zookeeper安装

安装zookeeper    上面也说了 SolrCloud是基于Solr和Zookeeper的分布式搜索方案,所有要部署solrCloud+tomcat+zookeeper的集群,必须先安装zookeeper 安装环境:    Liux: CentOS release 6.4    JD...

2016-04-12 11:46:09

阅读数:567

评论数:0

Zookeeper原理

分布式集群中存在两大问题: 1是一致性问题,2是资源管理问题。 在目前的技术中,Zookeeper主要解决问题1,而Hadoop系统中的YARN主要解决问题2. ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实...

2016-04-12 11:43:36

阅读数:209

评论数:0

工程师的自学能力

今天看到的一篇文章,激励自己。 每天我都有很多文章灵感,而绝大多数我都没公开,正所谓,忠言逆耳,我写 blog 的目的,也不是为了说大家爱听的,如果是这样,其实我可以顺顺便便就做好几个文章农场,每天传播给大家消遣时间用的文字就好了。 网络工程师和其他工程师有一些很微妙的...

2016-04-11 17:21:22

阅读数:264

评论数:0

大数据分析--用户画像

从去年还在北京工作的时候就开始不断的听说,用户画像、用户画像,而且,有个项目,项目领导美其名曰:用户画像,这么长时间,也没有真正的思考过什么叫用户画像。前几天看到一篇关于这方面的文章,决定整理消化,希望通过这种方式可以成为我自己的知识。 一、什么是用户画像(user profile) 用户画像,简...

2016-04-08 11:51:07

阅读数:7731

评论数:0

大数据分析-用户画像详解

转自: 百丽百灵(ID:BL100BL) 转自数据分析公号,来源:数据客 什么是用户画像? 用户画像(User Profile),作为大数据的根基,它完美地抽象出一个用户的信息全貌,为进一步精准、快速地分析用户行为习惯、消费习惯等重要信息,提供了足够的数据...

2016-04-08 09:29:28

阅读数:33203

评论数:0

帕金森定律

帕金森现象。 定律一:   冗员增加原理:官员数量增加与工作量并无关系,而是由两个源动因造成的。每一个官员都希望增加部属而不是对手(如“投票”);官员们彼此为对方制造工作(如行政审批,工商、税务、审计、公安,既得利益驱使) 定律二:   中间派决定原理:为了争取中间派的支持,双方颇费心机进行争取,...

2016-03-10 11:50:47

阅读数:470

评论数:0

postgresql优化心得

1、存储过程中的游标与临时表; 2、set enable_sort=off;关于这个的设置 3、

2016-03-09 16:55:02

阅读数:258

评论数:0

postgre-隐藏系统列

和oracle数据库一样,postgresql也有自身的一套隐藏的系统列。下面介绍如下:    1.oid  oid是object identifier的简写,其相关的参数设置default_with_oids设置一般默认是false,或者创建表时指定with (oids=false...

2016-03-09 15:01:00

阅读数:255

评论数:0

PostgreSQL学习手册(SQL语言函数)

一、基本概念:     SQL函数可以包含任意数量的查询,但是函数只返回最后一个查询(必须是SELECT)的结果。在简单情况下,返回最后一条查询结果的第一行。如果最后一个查询不返回任何行,那么该函数将返回NULL值。如果需要该函数返回最后一条SELECT语句的所有行,可以将函数的返回值定义为...

2016-03-04 11:49:16

阅读数:354

评论数:0

PostgreSQL学习手册(PL/pgSQL过程语言)

一、概述:     PL/pgSQL函数在第一次被调用时,其函数内的源代码(文本)将被解析为二进制指令树,但是函数内的表达式和SQL命令只有在首次用到它们的时候,PL/pgSQL解释器才会为其创建一个准备好的执行规划,随后对该表达式或SQL命令的访问都将使用该规划。如果在一个条件语句中,有部分S...

2016-03-04 11:44:25

阅读数:204

评论数:0

oracle--游标

这个文档几乎包含了oracle游标使用的方方面面,全部通过了测试 -- 声明游标;CURSOR cursor_name IS select_statement --For 循环游标 --(1)定义游标 --(2)定义游标变量 --(3)使用for循环来使用这个游标 declare ...

2016-03-04 11:38:57

阅读数:243

评论数:0

oracle--物化视图

Oracle之物化视图 近期根据项目业务需要对oracle的物化视图有所接触,在网上搜寻关于这方面的资料,便于提高,整理内容如下: 物化视图是一种特殊的物理表,“物化”(Materialized)视图是相对普通视图而言的。普通视图是虚拟表,应用的局限性大,任何对视图的查询,Oracle都实际上转...

2016-03-03 15:55:09

阅读数:281

评论数:0

数据库设计范式

数据库设计三大范式 基础知识: 首先是基础概念,也就是术语: (1)       实体(entity):就是实际应用中要用数据描述的事物,一般是名词。 (2)       字段(fields):就是一项数据,也就是我们平常所说的“列”。 (3)       记录(record):一个...

2016-03-03 11:57:36

阅读数:375

评论数:0

计算广告学

Table of Contents 1. 在线广告综述 1.1. 广告的定义与目的1.2. 在线广告类型1.3. 在线广告简史1.4. 广告有效性原理1.5. 在线广告相关行业协会 2. 计算广告基础 2.1. 在线广告的技术特点2.2. 计算广告核心问题 2.2.1...

2016-02-25 14:42:37

阅读数:6900

评论数:0

深入分析事务的隔离级别

本文详细介绍四种事务隔离级别,并通过举例的方式说明不同的级别能解决什么样的读现象。并且介绍了在关系型数据库中不同的隔离级别的实现原理。 在DBMS中,事务保证了一个操作序列可以全部都执行或者全部都不执行(原子性),从一个状态转变到另外一个状态(一致性)。由于事务满足久性。所以一旦事务被提...

2016-02-25 14:37:46

阅读数:279

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭