关闭

Spark SQL官方文档

1、概述(Overview) Spark SQL是Spark的一个组件,用于处理结构化数据。 1.1 SQL Spark SQL除了用来执行SQL查询外,还可以读取Hive表数据。当使用编程语言运行sql时,结果会以数据集或数据帧(DataSet/DataFrame)的形式返回,当然,你也可以通过命令行或者JDBC/ODBC执行SQL。 1.2 数据集与数据帧(DataSet/DataFr...
阅读(168) 评论(0)

莫名的烦躁

最近总是莫名的烦躁,烦躁的自己都不喜欢自己。 爸妈很正常的跟我说话,我也总能那么的不耐烦,我知道这么做不应该,可就是控制不住自己的情绪和语气。 我要好好调整自己,或许我应该恢复每天运动的习惯,心态会变的平和。...
阅读(179) 评论(1)

oracle--delete和truncate的区别

语法 delete from aa  truncate table aa  区别  1.delete from后面可以写条件,truncate不可以。 2.delete from记录是一条条删的,所删除的每行记录都会进日志,而truncate一次性删掉整个页,因此日至里面只记录页释放,简言之,delete from更新日志,truncate基本不,所用的事务日志空间较少。...
阅读(139) 评论(0)

Zookeeper-分布式锁简单实现

1.zookeeper实现分布式锁的作用是什么? 2.ZooKeeper分布式锁的思路是什么? 3.ZooKeeper锁不安全,该如何解决? 4.你是否有实现ZooKeeper锁的思路? 场景描述 在分布式应用, 往往存在多个进程提供同一服务. 这些进程有可能在相同的机器上, 也有可能分布在不同的机器上. 如果这些进程共享了一些资源, 可能就需要分布式锁来锁定对这些资源的访问. 本...
阅读(387) 评论(0)

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

一.概述 1.1 hadoop1.0的单点问题 Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现。如下图所示,便是hadoop1.0的架构图; 1.2 hado...
阅读(609) 评论(0)

Zookeeper安装

安装zookeeper    上面也说了 SolrCloud是基于Solr和Zookeeper的分布式搜索方案,所有要部署solrCloud+tomcat+zookeeper的集群,必须先安装zookeeper 安装环境:    Liux: CentOS release 6.4    JDK:1.7.0_55    因为我研究的是solr最新的版本,所以研究的是sol...
阅读(526) 评论(0)

Zookeeper原理

分布式集群中存在两大问题: 1是一致性问题,2是资源管理问题。 在目前的技术中,Zookeeper主要解决问题1,而Hadoop系统中的YARN主要解决问题2. ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在...
阅读(183) 评论(0)

工程师的自学能力

今天看到的一篇文章,激励自己。 每天我都有很多文章灵感,而绝大多数我都没公开,正所谓,忠言逆耳,我写 blog 的目的,也不是为了说大家爱听的,如果是这样,其实我可以顺顺便便就做好几个文章农场,每天传播给大家消遣时间用的文字就好了。 网络工程师和其他工程师有一些很微妙的差异,这个差异就是,网络世界变化极快,范围极广,涉及可深可浅,就取决于你要放自己在那个位置。 ...
阅读(220) 评论(0)

大数据分析--用户画像

从去年还在北京工作的时候就开始不断的听说,用户画像、用户画像,而且,有个项目,项目领导美其名曰:用户画像,这么长时间,也没有真正的思考过什么叫用户画像。前几天看到一篇关于这方面的文章,决定整理消化,希望通过这种方式可以成为我自己的知识。 一、什么是用户画像(user profile) 用户画像,简而言之就是对用户信息的标签化,如图1所示。 二、为什么需要用户画像 用户画像的...
阅读(6609) 评论(0)

大数据分析-用户画像详解

转自: 百丽百灵(ID:BL100BL) 转自数据分析公号,来源:数据客 什么是用户画像? 用户画像(User Profile),作为大数据的根基,它完美地抽象出一个用户的信息全貌,为进一步精准、快速地分析用户行为习惯、消费习惯等重要信息,提供了足够的数据基础,奠定了大数据时代的基石。 用户画像,即用户信息标签化,就是企业通过收集与分...
阅读(21524) 评论(0)

帕金森定律

帕金森现象。 定律一:   冗员增加原理:官员数量增加与工作量并无关系,而是由两个源动因造成的。每一个官员都希望增加部属而不是对手(如“投票”);官员们彼此为对方制造工作(如行政审批,工商、税务、审计、公安,既得利益驱使) 定律二:   中间派决定原理:为了争取中间派的支持,双方颇费心机进行争取,特别是双方势均力敌的情况下。所以,不是竞争对手而是中间派成了主角。对决定的内容不十分清楚的人,意志薄弱...
阅读(431) 评论(0)

postgresql优化心得

1、存储过程中的游标与临时表; 2、set enable_sort=off;关于这个的设置 3、...
阅读(215) 评论(0)

postgre-隐藏系统列

和oracle数据库一样,postgresql也有自身的一套隐藏的系统列。下面介绍如下:    1.oid  oid是object identifier的简写,其相关的参数设置default_with_oids设置一般默认是false,或者创建表时指定with (oids=false),其值长度32bit,实际的数据库系统应用中并不能完全保证其唯一性;   www.2cto.com ...
阅读(177) 评论(0)

PostgreSQL学习手册(SQL语言函数)

一、基本概念:     SQL函数可以包含任意数量的查询,但是函数只返回最后一个查询(必须是SELECT)的结果。在简单情况下,返回最后一条查询结果的第一行。如果最后一个查询不返回任何行,那么该函数将返回NULL值。如果需要该函数返回最后一条SELECT语句的所有行,可以将函数的返回值定义为集合,即SETOF sometype。     SQL函数的函数体应该是用分号分隔的SQL语句列表,...
阅读(314) 评论(0)

PostgreSQL学习手册(PL/pgSQL过程语言)

一、概述:     PL/pgSQL函数在第一次被调用时,其函数内的源代码(文本)将被解析为二进制指令树,但是函数内的表达式和SQL命令只有在首次用到它们的时候,PL/pgSQL解释器才会为其创建一个准备好的执行规划,随后对该表达式或SQL命令的访问都将使用该规划。如果在一个条件语句中,有部分SQL命令或表达式没有被用到,那么PL/pgSQL解释器在本次调用中将不会为其准备执行规划,这样的好...
阅读(179) 评论(0)
42条 共3页1 2 3 下一页 尾页
    文章分类
    最新评论