YongYu_IT的专栏

路途漫漫,只谈技术;人海茫茫,勿论人生。

自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

docker快速安装PostgreSQL

到https://hub.docker.com上检索pg相关的docker img $docker run --name YongPG -e POSTGRES_PASSWORD=123456 -e POSTGRES_USER=yuyong -p 5432:5432 -d postgres 在U...

2019-08-12 17:47:01

阅读数 13

评论数 0

窗口函数

作用 以当前行R为基准,关联出若干行mR(窗口),对mR进行聚合,计算出聚合值x,将x附加到R上。 窗口由关键字over指定 聚合操作支持所有内置和自定义的聚合函数,还支持几个特有的函数,如:row_number,rank,lag,lead 本质 替代关联和子查询的简写语法 窗口范围指...

2019-08-12 17:21:23

阅读数 22

评论数 0

kettle基本使用:把数据从一个数据库的一张表抽取到另一个数据库的另一张表

0、准备两个数据库实例(最好位于两台不同的数据库服务器),每个实例中创建好源表和目标表 源表 CREATE TABLE `test_0`.`stu_info` ( `stuNum` VARCHAR(128) NOT NULL COMMENT '学号', `stuName` VARCH...

2019-08-08 18:29:06

阅读数 58

评论数 0

kettle安装

上官网下载最新(稳定版)的压缩包 $ wget https://nchc.dl.sourceforge.net/project/pentaho/Pentaho%208.3/client-tools/pdi-ce-8.3.0.0-371.zip $ unzip pdi-ce-8.3.0.0-37...

2019-08-08 15:40:12

阅读数 18

评论数 0

Spring整合Kafka

官方资料:https://spring.io/projects/spring-kafka https://spring.io/projects/spring-kafka#learn

2019-08-02 15:23:06

阅读数 13

评论数 0

Enterprise Integration Patterns——Spring Integration

转自https://blog.csdn.net/qq_27808011/article/details/80108622

2019-08-01 11:43:25

阅读数 31

评论数 0

Spark RDD操作总结

转换类 filter:遍历+筛选 call函数每次输入一个rdd内的元素;输出bool值,真则保留,假则抛弃。最终filter将会得到对原rdd全部筛选一遍后的结果rdd map:遍历+转换 call函数每次输入一个rdd内的元素;输出根据输入元素转换之后的值。最终map将会输出全部元素转...

2019-07-25 19:29:50

阅读数 16

评论数 0

Ambari——Hadoop生态集群搭建、管理、运维神器

Ambari Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache ...

2019-07-25 14:46:37

阅读数 6

评论数 0

HBase协处理器

HBase协处理器简介 作用 类似于存储过程和触发器。在服务端运行,减少服务器/客户端IO 类型 类似于存储过程的“终端程序”(EndPoint) 类似于触发器的“观察者”(Observers) 协处理器家族 观察者 RegionObserver:针对region,监听关于re...

2019-07-18 10:19:01

阅读数 40

评论数 0

Spark Standalone集群部署

集群管理器 spark集群和Hadoop集群类似,采取主从结构,有两类节点: 集群管理者 Master节点(也叫驱动器(Driver)节点)。Master负责集群资源管理,接收spark job并分布到各个计算节点上进行计算。在集群中起到支配作用。一个集群中,活跃的Master只能有一个(H...

2019-07-12 16:27:24

阅读数 20

评论数 0

访问 stackoverflow速度慢解决方法

转自:https://blog.csdn.net/xinyu391/article/details/80334444

2019-07-03 16:53:58

阅读数 37

评论数 0

IDEA Maven 工程直接下载jar包进行引用

1、上https://mvnrepository.com/下载jar包 2、通过IDEA里面的maven插件,安装jar到本地mavenrepository 输入命令: install:install-file -Dfile=/home/yong/stu-hadoop/saprk-d...

2019-07-03 14:47:09

阅读数 28

评论数 0

HBase模式设计

设计重点 HBase模式的重点有两个:Rowkey 和 Column Family Rowkey的设计 Rowkey设计是HBase模式设计中最重要的事情 1、HBase数据基于Rowkey有序存储。Rowkey是HBase表的唯一索引,借助Rowkey对HBase表的访问能实现高效的二分...

2019-06-28 10:36:55

阅读数 49

评论数 0

HBase的结构

HBase的取舍 放弃对类似RDBMS复杂查询(核心是join)的支持,采用简单的API进行简单的CRUD,再加上一个扫描函数实现全表扫描。 再次明确:HBase不支持表关联。为了实现类似关联操作,HBase可接受采取反范式设计,即冗余存储 表,行,列族,列,单元格 行键 列族1 ...

2019-06-26 15:53:47

阅读数 65

评论数 0

在SpringCloud体系下的反向代理/负载均衡——Ribbon

转自:https://www.jianshu.com/p/1bd66db5dc46

2019-06-24 10:28:46

阅读数 19

评论数 0

伪分布式部署HBase(基于伪分布式Hadoop)

$ wget http://mirror.bit.edu.cn/apache/hbase/2.1.5/hbase-2.1.5-bin.tar.gz $ tar -zxvf hbase-2.1.5-bin.tar.gz $ cd hbase-2.1.5/conf $ gedit hbase-site...

2019-06-13 17:56:28

阅读数 58

评论数 0

最小化安装Centos7下 安装Vmware tools

sudo yum -y groupinstall "Perl Support" sudo yum -y install gcc gcc-c++ automake make rpm -qa|grep kernel-headers sudo yum remove kernel-h...

2019-06-12 10:00:27

阅读数 96

评论数 0

全分布式部署Hadoop集群

1、集群规划 由于HDFS默认最小复制原则是3份复制,所以规划3个数据节点(datanode),另外规划多一个独立的master运行namenode及相关的集群管理工作 网络规划: 192.168.186.213 mymaster 192.168.186.214 worker1 192.16...

2019-06-11 15:20:21

阅读数 46

评论数 0

伪分布式部署Hadoop

#### install java $ wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz $ tar xzf hadoop-3.1.2.tar.gz $ g...

2019-06-03 17:12:48

阅读数 66

评论数 0

TensorFlow学习一:环境准备

使用Docker快速安装TF环境: $ docker search tensorflow $ docker pull tensorflow/tensorflow $ docker run -it --rm tensorflow/tensorflow # python -c "impo...

2019-05-31 16:53:48

阅读数 29

评论数 0

提示
确定要删除当前文章?
取消 删除