IT十年

纸上得来终觉浅,绝知此事要躬行。

排序:
默认
按更新时间
按访问量

scala基础

摘自《big data analytics with spark》 scala基础 虽然scala包含了面向对象编程和函数式编程的能力,但是他更侧重函数式编程。 写spark程序,只会用到一点点scala的基本功能,所以只需要学一点点scala就可以了。 自带的类型:这些...

2017-11-18 19:08:54

阅读数:2244

评论数:0

远程连接hive server

hiveserver2 1、在hive服务器上启动hive server2,在你的hive主目录/bin/下找到并执行下面的命令,默认监听10000端口 #hiveserver2 2、使用cli在本机连接 #beeline beeline> !connect jdbc:hive2://l...

2017-11-16 12:18:43

阅读数:1873

评论数:1

《hive编程指南》阅读笔记摘要(九)

第10章 调优 一个hive任务会包含有一个或多个阶段stage,不同的stage间有依赖关系。 一、分析复杂的或者执行效率低的查询时,可以使用explain语句,如 explain select .....; 二、explain extended可以产生更多的输出信息 expl...

2017-04-10 22:37:42

阅读数:869

评论数:0

《hive编程指南》阅读笔记摘要(八)

第9章 模式设计 1、按天划分的表建议使用分区表 2、HDFS namenode会将所有的文件系统的元数据信息加载到内存中 3、hive没有主键或基于序列秘钥生成的自增键的概念 4、为了避免分区中数据不均的问题,可以用另一种数据分管的技术:分桶 create table we...

2017-04-08 14:55:00

阅读数:632

评论数:0

《hive编程指南》阅读笔记摘要(七)

第8章 HiveQL:索引 1、hive只有有限的索引功能。 2、explain命令可以查看某个查询语句是否用到了索引 3、创建索引 create index employees_index on table employees(country) as 'org.apach...

2017-04-05 21:55:58

阅读数:840

评论数:0

《hive编程指南》阅读笔记摘要(六)

第7章 HiveQL:视图 1、视图不像表一样会存储数据,hive目前不支持物化视图。 2、当一个查询引用一个视图时,这个视图定义的查询语句会和用户的查询语句组合在一起,然后供hive制定查询计划。可以认为,hive先执行这个视图,然后使用这个结果进行余下后续的查询。 3、hive查询语句中...

2017-04-04 09:43:02

阅读数:567

评论数:0

《hive编程指南》阅读笔记摘要(五)

第6章 HiveQL:查询 查询字段是数组类型的元素数据 select name, subordinates[0] from employees; 查询字段是map类型的元素数据 select name, deductions["state taxes"] from emplo...

2017-03-24 09:56:07

阅读数:847

评论数:0

《hive编程指南》阅读笔记摘要(四)

第5章 HiveQL:数据操作 既然hive没有行级别的增删改操作,那么往表中装载数据的唯一途径就是“大量”的数据装载操作,或者通过其他方式仅仅将文件写到正确的目录下。 一、装载数据 LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'...

2017-03-22 23:00:05

阅读数:678

评论数:0

《hive编程指南》阅读笔记摘要(三)

第四章 HiveQL:数据定义 hive中的数据库本质上只是表的一个目录或者命名空间,用来组织表 hive有一个默认的数据库default,如果没有显式地指定数据库,默认是default库 创建数据库 create database if not exists test; 显示所有数据库 sh...

2017-03-21 22:44:38

阅读数:855

评论数:0

《hive编程指南》阅读笔记摘要(二)

第三章 数据类型和文件格式 hive中的数据类型包括基本数据类型和集合数据类型(array、map、struct),通常,关系型数据库中没有集合数据类型,而是用关系表关联表示集合。 原因在于:hive中将相关数据存储在一起,来减少磁盘寻址操作,提高性能。 基本数据类型都是对java中接口的实现,...

2017-03-20 21:42:42

阅读数:899

评论数:0

《hive编程指南》阅读笔记摘要(一)

第一二章 基础知识、基础操作 hive的缺点 1、hive不支持记录级别的增删改操作,但是用户可以通过查询生成新表或者将查询结果导入到文件中。 2、Hive的查询延时很严重,因为MapReduce job的启动过程消耗很长时间,所以不能用在交互查询系统中。 3、hive不支持事务。 h...

2017-03-19 15:29:36

阅读数:2037

评论数:0

从IT技术面试官的角度说说技术人的简历

以前曾经看到过一些公司HR写的点评应聘者简历的文章,在这些文章中,人力资源部门的人会提出一些意见,指导应聘者尤其是刚刚毕业的应届生怎么写简历才能在众多简历中脱颖而出。我当时虽然看过这些文章,但对里边的说法并不太在意,一是因为这些文章的目标读者是所有有意寻找工作的人,而不限于IT技术人员;二是人力资...

2016-12-13 23:06:01

阅读数:6303

评论数:0

怎么理解RSA算法

原文地址:http://www.ittenyear.com/414/rsa/ 怎么理解RSA算法 可以把非对称加密算法里的公钥想象成一个带锁的箱子,把私钥想象成一把钥匙 可以把对称加密算法里的密钥想象成箱子和钥匙的组合 HTTPS使用了非对称加密和对称加密的组合:RSA和DES的组合就是...

2016-03-20 15:48:33

阅读数:1151

评论数:0

电商系统Broadleaf文档翻译(九) – 扩展的服务extending services

原文标题:extending services 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/data-and-service-models/extending-services 译者:IT...

2016-03-18 22:07:46

阅读数:1637

评论数:1

电商系统Broadleaf文档翻译(八) – 主要服务main services

原文标题:main services 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/data-and-service-models/main-services 译者:IT十年 译文链接:h...

2016-03-17 22:51:30

阅读数:1506

评论数:0

电商系统Broadleaf文档翻译(七) – 扩展实体extending entities

原文标题:main services 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/data-and-service-models/extending-entities 译者:IT十年 译...

2016-03-15 19:59:37

阅读数:1399

评论数:0

电商系统Broadleaf文档翻译(六) - 主要实体main entities

主要实体 原文标题:main entities 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/data-and-service-models/main-entities 译者:IT十年 译文...

2016-03-09 19:53:52

阅读数:1376

评论数:0

电商系统Broadleaf文档翻译(五) - 架构图表architecture diagrams

架构图 原文标题:application architecture component view 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagrams/ 译...

2016-03-08 20:40:48

阅读数:1753

评论数:0

电商系统Broadleaf文档翻译(四) - 应用架构组件视图application architecture component view

应用架构组件视图 原文标题:application architecture component view 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagra...

2016-03-07 21:05:39

阅读数:1896

评论数:0

电商系统Broadleaf文档翻译(三) - 应用架构模块视图application architecture module view

应用架构模块视图 原文标题:server configuration 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagrams/application-ar...

2016-03-06 23:30:28

阅读数:1661

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭