自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

zhaoguowei的博客

我的技术成长之路

  • 博客(7)
  • 资源 (24)
  • 收藏
  • 关注

转载 hive中order by,sort by, distribute by, cluster by作用以及用法

1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一个reducer)。但是对于大量数据这将会消耗很长的时间去执行。 这里跟传统的sql还有一点区别:如果指定了hi...

2019-02-27 11:48:10 172

转载 大数据时代的技术hive:hive的数据类型和数据模型

在上篇文章里,我列举了一个简单的hive操作实例,创建了一张表test,并且向这张表加载了数据,这些操作和关系数据库操作类似,我们常把hive和关系数据库进行比较,也正是因为hive很多知识点和关系数据库类似。 关系数据库里有表(table),分区,hive里也有这些东西,这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型,数据模型以及文件存储格式。这些知识大家可以类比...

2019-02-27 11:37:38 299

转载 简单聊聊SOA和微服务

简单聊聊SOA和微服务 前两天和一个朋友聊天,他向我咨询如何从零开始构建一个健壮、强大的软件系统,聊着聊着他忽然问我,「听大家都在说微服务(下文中有的地方会使用MSA),还有人会提到SOA,那么他们的区别到底在哪里?」。我想了想,一时也列不出来一个详细的列表,只能跟他讲说其实他们在概念上是相似的。 关于软件系统的架构设计,是一个太多人喜欢讨论的问题,尤其是对软件开发不了解的人士来说,总是被各种各...

2019-02-27 09:24:43 154

原创 MapReduce:详解Shuffle过程

Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所以在这里...

2019-02-26 14:53:49 197

转载 hadoop文件的序列化

1、为什么要序列化? 一般来说,"活的"对象只存在内存里,关机断电就没有了。而且"活的"对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机。 然而序列化可以存储"活的"对象,可以将"活的"对象发送到远程计算机。 2、什么是序列化? 序列化就是指将对象(实例)转化为字节流(字符数组)。反序

2019-02-25 15:02:18 264

原创 Hive 的insert into 和 insert overwrite

区分insert into 和 insert overowrite: 1、insert into 语句 Hive> insert into table account select id,age,name from account_tmp; 2、insert overwrite语句 hive> insert overwrite table account2 select id,age,...

2019-02-21 15:11:18 1181 1

原创 hive常见操作

转自https://www.cnblogs.com/ggjucheng/archive/2013/01/04/2844393.html 这里罗列常用操作,更多参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable 简单...

2019-02-21 14:32:50 236

zookeeper+kafka.zip

这个是zookeeper和kafka的安装包,Kafka在一个或多个可以跨越多个数据中心的服务器上作为集群运行。Kafka集群将记录流存储在称为topic的类别中。 每个记录由一个键,一个值和一个时间戳组成。

2019-11-15

没写文件自动拉取进程.sh

监控进程,看是否还在写日志,没写程序就自动拉起。

2019-11-06

1901-1930.zip

hadoop权威指南,天气数据,包含1901至19030数据。hadoop权威指南......

2019-09-09

毕设项目Solo系统的设计与实现

SoloBlog , 该作者是在 Forest博客系统基础上进行修改的。 SoloBlog 使用的是 Spring+SpringMvc + Mybatis + Layui 打造的一个个人博客模板。 花了十天的时间把整个项目的代码都敲了一遍,熟悉了整个项目,修改了原来的一些 bug,增加了个人信息管理,前台写文章等模块。 喜欢该项目的话,可以给项目点个 star,如果你想在这基础上修改,那么建议你 fork 该项目,然后再修改哦。 项目安装步骤: 1、克隆项目 下载项目到本地,解压 2、修改项目配置 将数据库文件solo.sql导入到你的你的数据库,并修改源代码的数据库配置文件db.properties为你的账户名密码。 由于文件上传是传到本地,且和项目文件夹不在一起,就是说是源码和上传目录是分离的。 由于我们把 uploads 目录默认放到 E盘根目录(见源代码UploadFileController),因此需要在Idea中进行静态资源映射相关配置。 项目启动前首先启动redis,否则会显示404页面 访问地址:http://localhost/login

2019-09-09

WinSCP.exe

WinSCP是一个支持SSH的SCP文件传输软件。WinSCP中文版体积小、占用系统资源少。操作简单,只需要连接相应的服务器就可以进行下载和传输文件。重要的是WinSCP中文版软件还有着很多特色的功能,有着内置的文本编辑器,可以支持文件的复制、移动、更名文件等操作,为你带来高效便捷的使用体验。

2019-09-09

jd-gui.rar

JD-GUI是一个独立图形界面的Java源代码“.class”文件反编译工具。您可以浏览重建的源代码,JD-GUI的即时访问方法和字段。JD-GUI是免费的非商业用途。这意味着,JD-GUI不得包含或嵌入到商业软件产品。不过,这个项目可以被自由地用于个人需要一个商业或非商业的环境。

2019-09-09

erlang_rabbitmq.rar

rabbitmq安装包。RabbitMQ是实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件)。RabbitMQ服务器是用Erlang语言编写的,而集群和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。

2019-09-09

tomcat-redis.rar

Tomcat需要链接 redis,所以需要专门的jar包,这些包都放在了右上角的tomcat-redis.rar里。 一共有3个jar包: jedis-2.5.2.jar, commons-pool2-2.0.jar, tomcat-redis-session-manager1.2.jar。

2019-06-28

tomcat_8111.rar

用来观察nginx负载均衡与session共享结果的tomcat,端口号为8111。

2019-06-28

kibana-4.6.3-windows-x86.rar

elasticsearch 提供了一个可视化的客户端 kibana, 下载后解压后运行 bin 目录下的 kibana.bat 。

2019-06-21

elasticsearch-2.4.2.rar

elasticsearch-2.4.2安装包,解压后运行其中 bin 目录的 elasticsearch.bat

2019-06-21

Foodmart商店销售分析系统

基于Foodmart实例数据库,分析需求。1.按时间级别(年、季度、月、日)分析不同产品的销售额、销售成本额..........

2018-06-08

利用Floyd算法以及Dijkstra算法解决选址问题以及matlab代码文档

利用Floyd算法以及Dijkstra算法解决选址问题以及matlab代码文档

2018-06-04

用蛮力法实现选择排序,冒泡排序程序;用减治法实现插入排序;分治法应用-快排,合并排序,0-1背包问题;Prim算法求最小生成树。伪代码以及java代码实现

用蛮力法实现选择排序,冒泡排序程序;用减治法实现插入排序;分治法应用-快排,合并排序,0-1背包问题;Prim算法求最小生成树。伪代码以及java代码实现

2018-05-31

Java面试题,超详细

Java工程师面试题详细汇总。涵盖面向对象,集合,异常,多线程,,jsp,servlet,mvc框架以及常用的设计模式等等

2018-05-09

程序员表白源码十二套

程序员表白源码十二套,祝各位单身猿(媛)成功,追到你的那个他(她)

2018-05-08

未来教育二级java激活码

未来教育二级java激活码,机试软件,视屏,二级基础视屏

2018-05-05

网上商城系统后台(jsp+servlet)

网上商城系统后台JSP+Servlet实现,适合完j2ee后进阶。

2018-05-04

基于javaweb实现的简单购物商城

基于javaweb的购物商城,简单,适合新手练手,导入项目即可运行

2018-05-02

sql语句学习

数据库增删改查语句,适合学习和复习使用。。。。。。

2018-04-24

基于Java的商城项目后台(ssh)

商城项目后台,导入后访问地址localhost:8080/tmall_ssh/admin/index.jsp即可

2018-04-01

Java课程设计文档说明书(商城项目)

关于Java商城项目说明书,画图用的ProcessOn这个网站。

2018-02-20

文件比较神器

用于比较两个文件或者文件夹的不同之处,非常实用。教程里面有,解压后运行即可

2017-12-25

sqlsever2005卸载不成功问题的解决方法以

sqlsever2005卸载不成功问题的解决方法,一步一步来,绝对可以

2017-05-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除