- 博客(24)
- 收藏
- 关注
RSS订阅原创 数据仓库基础--ETL原理及作用
全量数据、增量数据全量数据指的是全部数据增加数据指的是某个时间段内新增加的数据什么叫做好的数据？数据跟分析需求直接的关联性 在满足相关的前提下 数据当然越多越好。何为数据不可更新？不可更改更多指的是数据之间的规律不可更改。1.2k----->1200元0.2w----->2000元数仓4大特性面向主题：主题是数据的综合体 是一个抽象的概念集成性：数仓的数据需要...
2019-02-23 22:05:35
1762
1
原创 flum静态拦截器
现在要求：把 A、B 机器中的 access.log、nginx.log、web.log 采集汇总到 C 机器上然后统一收集到 hdfs 中。但是在 hdfs 中要求的目录为：/source/logs/access/20190101/**/source/logs/nginx/20190101/**/source/logs/web/20190101/**① 在服务器 A 和服务器 B...
2019-02-23 17:53:36
263
原创 flum执行原理及测试案例&&串联（负载均衡）
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件数据采集数据从无到有的过程数据搬运传输的过程flume是一个日志采集、聚合、汇总传输的软件。数据搬运的过程。flume具有三个核心组件source:对接各个不同种类的数据源sink:对接各个不同数据存放的目的地（下沉地）channel：中间用于临时缓存数据的以上三个组件...
2019-02-23 17:22:23
493
原创 mr执行原理
mapreduce思想 先分再合 分而治之map：负责分，所谓的分指的是把大的复杂的任务划分成小的任务，然后并行处理提高效率（如果任务不可以拆分或者任务内部存在着依赖关系 这样不适合分而至之）reduce：负责合 ，所谓的合指的是把上步分成的小任务结果聚合成最终的结果两步加起来就是mapreduce思想的体现。hadoop mapreduce 设计构思如何解决大数据的...
2019-02-23 15:39:20
1131
原创 hdfs原理详解
hdfs概述namenode管理了整个文件系统的元数据 （metadata）管理众多datanode对外提供服务的唯一入口rpc端口：9000 使用文件系统的端口 hdfs://node-1:9000http端口：50070 hdfs webui页面的端口 查看端口 http://node-1:50070datanode负责具体数据块的存储定时需要向nn进行通信汇报...
2019-02-23 11:46:24
174
原创 hadoop离线（Hadoop&HDFS）
hadoop离线（Hadoop&HDFS）hadoop狭义hadoop apache 软件 java语言 是大数据的处理平台HDFS(hadoop分布式文件系统)：大数据的分布式存储MapReduce(分布式计算框架)：大数据分布式处理计算YARN：集群资源（RAM CPU）管理任务调度广义hadoop hadoop生态体系 生态圈hadoop作为...
2019-02-23 11:26:53
483
原创 js埋点技术入门解析，服务器安装
一般在企业种我们都会在html页面设置js埋点代码、1、js写死在页面与页面耦合性太强不利于维护，不利于后续维护，如何解耦合？将埋点代码写在单独文件、 <script type=text/javascript src="xxx/xxx.js"> 指向自己站点的相对引入 <script type=text/javascript src="www.xxx.com/...
2019-02-22 21:22:35
1886
原创 Zk监听机制入门和节点属性信息
zk监听主要是监听：节点创建，节点删除，节点改变、子节点改变我这里用node-1和node-3同时连接node-1zk客户端监听功能一般步骤：1、客户端设置监听事件 命令：get 节点 watch （node-1上操作）2、执行监听 命令：set 节点 改变内容 （node-3上操作）3、触发事件、回调事件给客户端 node-1上...
2019-02-21 22:04:17
1260
原创 zookeeper集群搭建详细步骤
安装前需要安装好jdk并且配置jdk环境变量检测集群时间是否同步检测防火墙是否关闭检测主机 ip映射有没有配置在第一台机子上安装，然后再发送给其他机子，这边我有配置免密登入，也配置了hosts文件映射：所以这边三台机子分别为node-1，node-2，node-3正式安装：第一台：tar -zxvf zookeeper-3.4.5.tar.gz这边我只是为了方便查看和编辑修改名称...
2019-02-19 21:25:28
233
原创 linux集群时间同步以及时区问题
说明：由于大数据中，集群对时间要求很高，所以集群内主机要经常同步时间（包括时区的同步）。常用的手动进行时间的同步date -s “2017-03-03 03:03:03”或者网络同步：yum install ntpdatentpdate cn.pool.ntp.org还可以进行如下的设置：1、yum install ntp2、vi /etc/ntp.conf修改如下部分：ser...
2019-02-18 21:46:50
646
原创 Junit、反射、注解、xml
Junit、反射、注解、XML学习目标 能够使用Junit进行单元测试 能够通过反射技术获取Class字节码对象 能够通过反射技术获取构造方法对象，并创建对象。 能够通过反射获取成员方法对象，并且调用方法。 能够说出注解的作用 能够自定义注解和使用注解 能够说出常用的元注解及其作用 能够解析注解并获取注解中的数据 能够完成注解的MyTest案...
2019-02-15 21:30:10
218
原创 bootstrap
bootstrap能够完成BootStrap环境搭建能够理解bootstrap的栅格系统能够查询文档创建BootStrap的按钮、表格、表单等常用组件能够查询文档使用BootStrap的轮播图、分页条能够利用Bootstrap完成网站首页第一章 bootstrap简介1.1 bootstrap概述1.1.1 什么是bootstrapBootstrap，基于 HTML、CSS、...
2019-02-15 21:19:00
2312
2
原创 javascript
-JavaScript今日内容使用JS完成图片轮播效果使用JS完成页面定时弹出广告使用JS完成表格的隔行换色使用JS完成复选框的全选效果使用JS完成省市联动效果学习目标 使用JS可以获得指定元素 使用JS可以编写定时程序 使用JS可以创建元素 使用JS可以对元素的属性进行操作 使用JS可以对元素的标签体进行操作 使用JS可以对指定元素的样式进行操作（获得或修改）...
2019-02-15 21:09:36
405
1
原创 css&js
css&JavaScript今日内容div+cssJavaScript学习目标 能够使用CSS的基本选择器选择元素 能够使用CSS的扩展选择器选择元素 能够使用常见的CSS属性 能够说出盒子模型的属性 能够制作网站的注册页面 掌握JavaScript的基本语法 掌握JavaScript的函数第一章 div + css1.1 什么是divdiv就是html...
2019-02-15 21:05:18
573
原创 html(1)
-html今日内容 使用html的排版标签编写“网站信息页面” 使用html的图片标签编写“图片显示页面” 使用html的列表标签编写“友情链接页面” 使用html的表格标签编写“首页” 使用html的表单相关标签学习目标 了解HTML语言的作用 能够使用h1~h6、hr、p、br 等与文本有关的标签 能够使用有序列表ul-li和无序列表ol-li显示列表内容...
2019-02-15 21:00:12
572
原创 【线程、网络编程】
【多线程、网络编程】主要内容线程、网络编程教学目标 说出进程的概念 说出线程的概念 能够理解并发与并行的区别 能够描述Java中多线程运行原理 能够使用继承类的方式创建多线程 能够使用实现接口的方式创建多线程 能够解释安全问题的出现的原因 能够使用同步代码块解决线程安全问题 能够使用同步方法解决线程安全问题 能够辨别UDP和TC...
2019-02-15 20:55:12
342
原创 DBUtils&事务
#DBUtils&事务 掌握DBUtils实现增删改 掌握DBUtils实现查询 理解事务的概念 理解脏读,不可重复读,幻读的概念及解决办法 能够在MySQL中使用事务 能够在JDBC中使用事务 能够在DBUtils中使用事务第一章 DBUtils如果只使用JDBC进行开发，我们会发现冗余代码过多，为了简化JDBC开发，本案例我们讲采用apache commons组件...
2019-02-15 20:47:44
1941
原创 jdbc&连接池&sql注入
jdbc&amp;连接池 能够理解JDBC的概念 能够使用DriverManager类 能够使用Connection接口 能够使用Statement接口 能够使用ResultSet接口 能够描述SQL注入原理和解决方案 能够通过PreparedStatement完成CURD代码 能够理解连接池的原理 能够使用C3P0连接池 能够编写连接池...
2019-02-15 20:43:20
321
原创 多表关系&多表查询&properties
多表关系&多表查询&properties 能够完成数据的备份和恢复 能够说出多表之间的关系及其建表原则 能够理解外键约束 能够使用内连接进行多表查询 能够使用外连接进行多表查询 能够使用子查询进行多表查询 能够使用Properties的load方法加载文件中配置信息第一章 SQL备份、恢复、数据库密码重置1.1 SQL备份数据库的备份是指将数据库转换成对应的...
2019-02-15 20:39:19
700
1
原创 数据库SQL基础
mysql入门一、 数据库的介绍1.什么是数据库数据库就是存储数据的仓库，其本质是一个文件系统，数据按照特定的格式将数据存储起来，用户可以对数据库中的数据进行增加，修改，删除及查询操作。2数据库管理系统数据库管理系统（DataBase Management System，DBMS）：指一种操作和管理数据库的大型软件，用于建立、使用和维护数据库，对数据库进行统一管理和控制，以保证数据库的安...
2019-02-15 20:27:57
3751
原创 大数据离线阶段--数据获取
大数据离线阶段 -----数据获取原理数据分析1． 数据分析定义数据分析离不开数据，计量和记录一起促成了数据的诞生。伴随着数据记录的发展（尤其是技术），人类受益也越来越多，计算机出现带来的数字测量，更加大大的提高了数据化的效率。人们的重点也逐渐移向了记录下来的庞大数据，对这些数据进行研究、分析，以期获取更大的利益。数据分析是指用适当的统计分析方法对收集来的数据进行分析，将它们加以汇总和理解...
2019-02-15 20:15:01
2962
原创 mybatis和逆向工程
Mybatis第二天框架课程课程计划1、输入映射和输出映射a) 输入参数映射b) 返回值映射2、动态sqla) If标签b) Where标签c) Sql片段d) Foreach标签3、关联查询a) 一对一关联b) 一对多关联4、Mybatis整合springa) 如何整合springb) 使用原始的方式开发daoc) 使用Mapper接口动态代理5、Mybat...
2019-02-13 21:57:03
130
原创 大数据基础加强虚拟机搭建和Linux命令
大数据基础加强阶段第一天 一、 课程计划目录一、 课程计划 … 2 二、 Vmware、Linux 基础 … 41． VMware 虚拟网络 … 41.1． 虚拟网卡、虚拟交换机 … 41.2． 虚拟网桥 … 51.3． 虚拟 DHCP 服务器… 51.4． 虚拟 NAT 服务器 … 61.5． 主机虚拟网卡 … 62． VMware 网络模式 … 72.1． Bridg...
2019-02-13 21:25:30
454
原创 大数据基础加强ZK和网络编程
第二天一、 课程计划目录一、 课程计划 … 2 二、 ZooKeeper … 41． Zookeeper … 41.1． ZooKeeper概述 … 41.2． ZooKeeper 特性 … 41.3． ZooKeeper集群角色 … 51.4． ZooKeeper集群搭建 … 62． ZooKeeper shell … 72.1． 客户端连接 … 72.2． shell 基...
2019-02-13 21:12:32
506
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人