yu_shao-CSDN博客

原创 maven依赖

maven依赖 1、maven scala依赖  <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-...

2019-09-19 10:00:04 141 1

原创 java8新特性

java8新特性 1、简介 lambda 、stream，转成面向函数类编程语言，面向对象是数据，面向函数是行为，把行为作为参数。 java8中可以有实现的方法，叫做default。 stream，lambda、collection息息相关。 2、lambda表达式用来表示匿名函数或闭包在java中无法将函数作为参数传递给一个方法，也无法声明返回...

2019-07-08 16:45:23 323

原创 zookeeper学习总结

zookeeper学习总结一、介绍轻量级集群框架，协同服务，保证高可靠、高可用，集中式服务，用于配置信息，名称服务，分布式同步处理树形层次结构，znode，动物管理员二、zk组件 client 向server周期性的发送消息，表明自己还活着，server向client回应确认消息，client没有收到回应，自动重定向消息到其他server server 一个zk节点，向...

2019-03-06 13:43:30 197

原创 docker学习整理

docker学习整理一、介绍云计算，类似于VM docker 平台，管理部署应用程序，开发容纳，运行应用程序的平台。在容器中安全的运行应用程序。 docker引擎，cs结构的程序，server长时间运行的守护进程，cli客户端命令 docker对象，同时运行多个虚拟机 image 镜像 containers 容器，进程 network 网络 data values 数据卷 ...

2019-03-06 10:50:53 89

原创 flume 学习

flume学习整理一、介绍 flume是分布式、可靠的、可用性好的服务，用于收集、聚合、异动大量日志数据，基于流计算的简单灵活框架，用于在线分析。二、特点优点可以和任何集中式存储进行集成输入数据速率大于写入存储目的地的速率时，flume会进行缓存。 flume提供上下文路由（数据流路线） flume中的事务基于chan...

2019-03-04 16:49:48 214

原创 kafka学习总结

kafka学习总结一、介绍 kafka类似于消息系统的发布订阅数据流，以分布式副本集群的方式存储数据流，实时处理数据，构建实时数据流通道，水平可伸缩，容错，速度快 MQ：消息队列。 JMS：java message server java消息服务，消息中间件，主要是解耦作用。 queue：队列模式 p2p：点对点模式 topic：主题模式 pub...

2019-03-04 11:23:36 131

原创 sqoop学习

sqoop学习一、介绍 sqoop是RDBMS和hdfs之间进行数据导入导出的工具，高效的数据导入导出工具。二、安装 sqoop2.X安装 sqoop2.X包含两部分，server和client server：所有客端的入口点 client：可以安装在任何节点上 server安装确保hadoop可用确保HADOOP_HOME环境变量可用 ...

2019-03-04 09:58:14 163

原创 java设置模式

一、对象设计六大原则组合复用原则多用组合少用继承，找到变化的部分，抽象封装变化的部分，然后把抽象的具体实现带进去。 has A------组合 is A------继承依赖导致原则依赖：成员变量，方法参数，返回值，依赖抽象不要依赖具体高层模块不应该依赖低层模块，两者都应该依赖其抽象，抽象不应该依赖具体，具体应该依赖抽象。针对接口编程，不要针对实现编程...

2019-03-01 11:23:09 364

原创 jvm虚拟机

jvm虚拟机一、介绍虚拟机系统虚拟机：VM、virtualbox 程序虚拟机：java虚拟机（hotspot） java虚拟机主要执行Java字节码指令二、Java虚拟机基本结构类加载子系统：负责从文件系统或者网络中加载class信息，加载的信息存放在一块称为方法区的内存空间方法区：存放类信息、常量信息、常量池信息，包括字符串面量和数字常量 j...

2019-02-28 17:19:10 257

原创 mysql 源码安装教程

下载mysql源码mysql-5.5.17.tar.gz http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.22.tar.gz/from/http://cdn.mysql.com/ yum方式安装相关依赖包 yum -y install cmake bison git ncurses-devel gcc gcc-c++...

2018-12-06 18:20:49 411

原创 cloudera大数据平台搭建流程

基础环境软件环境 NO 软件名称版本 1 操作系统 centos7 64位 2 jdk jdk-8u181-linux-x64.tar.gz 3 cloudera manager cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz 4 cdh CDH-5.15...

2018-12-06 18:19:36 3071

原创推荐系统（spark）

1、开发环境 IntelliJ IDEA + maven + git + linux 2、软件架构 hadoop + zookeeper + flume + kafka + nginx + spark + hive + mysql 3、项目描述通过在电影网站系统埋点，获取到用户的点击事件（如用户喜欢哪部电影或对某部电影的评分）并将信息传至推荐系统，推荐系统根据该信息做出相应的处理...

2018-12-06 18:18:19 3519 2

原创使用github+hexo搭建个人免费博客

一、前言使用github pages服务器搭建博客的好处有： 1、全是静态文件，访问速度快； 2、免费方便，不用花一分钱就可以搭建一个自由的个人博客，不需要服务器不需要后台； 3、可以随意绑定自己的域名，不仔细看的话根本看不出来你的网站是基于github的； 4、数据绝对安全，基于github的版本管理，想恢复到哪个历史版本都行； 5、博客内容可以轻松打包、转移、发布到其它平台；二、准备工

2017-10-19 16:45:54 435

yu_shao的博客