我知道经过这么多年IT你们很累 但我在砥砺前行..

你要努力 让那些自以为是的人闭嘴...

排序:
默认
按更新时间
按访问量

Azkaban3.59.x 最新版极简入门

1. Azkaban概述 Azkaban技术产生前景: ​ 在大数据分析场景中,以ETL( Extract抽取 -Transform交互转换 -Load加载 )为例 ,数据的操作包含了如下流程:RDBMS ==>Sqoop ==&a...

2018-09-29 18:31:16

阅读数:54

评论数:0

企业级DBA的mysql配置之道

1. 下载并检查文件的完整性 [root@hadoop39 ~]# cd /usr/local ********************************************************** 下载mysql的linux版本:https://dev.mysql...

2018-09-29 18:20:49

阅读数:27

评论数:0

Hadoop源码编译

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 为了更加了解Hadoop的运行机制,可以通过源码的方式解读Hadoop。本文主要介绍如何编译Hadoop源码,并且这里采用的版本是1.0...

2018-09-29 18:19:45

阅读数:188

评论数:0

Azkaban简单入门

1. Azkaban概述 1.1 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序、hive脚本等。 各任务单元之间存在时间先后及前后依赖关系。 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统...

2018-06-26 11:58:02

阅读数:72

评论数:0

HBase工作原理

1. Region的定义与数据存储管理 如上t_product表中分为2个列族,数据存储首先根据row key进行划分,每个row key在内部以列族再次细分存储,大部分情况下HBase存储的数据都是极其庞大的(可以达到亿级以上)。 HBase内部,根据row key的范围将表数据进行划分...

2018-06-25 23:03:34

阅读数:92

评论数:0

Sqoop笔记

1.Sqoop数据迁移概述 ​ Apache Sqoop是用来实现结构型数据(如关系数据库)和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输,同时也借助MapReduce实现了容错。 ​ sqoop的在线地址是 http://w...

2018-06-22 16:26:56

阅读数:64

评论数:0

Flume笔记

1.日志采集框架Flume概述 ​ 在一个完整的大数据处理系统中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统,而这些辅助工具在hadoop生态体系中都有便捷的开源框架,如图所示: ​ ​ 设想一...

2018-06-22 16:25:12

阅读数:98

评论数:0

Hive笔记

1. Hive ​ Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL操作功能。 用户接口:包括CLI (客户端shell) , JDBC/ODBC (Java代码对mysql接口),WebGUI (通过浏览器访问Hive) 元数据...

2018-06-22 16:15:40

阅读数:103

评论数:0

Center OS 玩一下黑客帝国显示屏幕

想必大家都看过黑客帝国的酷炫的Dos窗口,这其实是一个小软件,下载安装后,直接就可以运行。 首先是下载:http://www.haote.com/xz/207912.html#xiazai 由于在Center OS 平台下缺少传统Linux的依赖库,所以这里有部分的软件需要下载。下面我把命令直...

2018-06-13 15:55:58

阅读数:245

评论数:0

Hadoop从安装到启动

由于Hadoop 第一次入手需要配置多台机器多个配置,本文详细介绍下如何去使用,方便后面回头自己能够按照笔记配出来。OK,直接进入主题: 关于Hadoop的配置这里先说下流程: 1. 修改虚拟机网络连接方式 主机名 IP 映射文件 关闭防火墙 2. 安装ssh客户端方便多台虚拟机传输数据 ...

2018-06-01 19:41:50

阅读数:250

评论数:0

从NIO到Netty开发

1. 从传统BIO到NIO的升级 Client/Server模型是网络编程的基本模型,服务端提供位置信息,客户端通过连接操作向服务端发起连接请求,通过三次握手建立连接,如果连接建立成功,双方就可以通过网络套接字(Socket)进行通信。 传统的Socket编程是服务端一直处于accpet阻塞等...

2018-05-21 16:27:19

阅读数:2125

评论数:7

Shell编程入门

1. Shell入门 Shell 编程跟 java、php 编程一样,只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。 Linux 的 Shell 种类众多,本教程关注的是 Bash,也就是 Bourne Again Shell,由于易用和免费,Bash 在日常工作中被广...

2018-05-17 14:15:06

阅读数:557

评论数:0

Redis数据库

1. redis简介 ​ Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 ​ Redis 是 NoSQL数据库(泛指非关系型的数据库)的一种; NoSQL 的特点: 1、 它不支...

2018-05-15 17:50:18

阅读数:73

评论数:0

Zookeeper的入门

1 Zookeeper的基本概述 Zookeeper是一个高性能,开源分布式应用协调的服务,保证分布式系统高效,稳定的运行。它提供了简单原始的功能,分布式应用可以基于它实现更高级 的服务,比如同步,配置管理,集群管理,名空间。 如下:如果所有学生都要吃饭,那么一个食堂是不能同时容纳多个班级的...

2018-05-10 18:10:11

阅读数:77

评论数:0

CentOS连不了外网

使用VMWare的Desktop版桥接模式基本是可以ping通内外网的。 但是如果你用的是mini版,那你会发现平时的配置没问题,但是死活上不去外网?,百度了几个小时,最后终于成功找到突破点,默认情况下该版本的网关配置存在问题,一个配置解决: cd /etc/sysconfig/networ...

2018-05-09 11:21:35

阅读数:176

评论数:0

Linux简单命令操作(下)

14. SSH免密登陆 SSH 为 Secure Shell(安全外壳协议) 的缩写。 很多ftp、pop和telnet在本质上都是不安全的,因为它们在网络上用明文传送口令和数据,别有用心的人非常容易就可以截获这些口令和数据。而SSH就是专为远程登录会话和其他网络服务提供安全性的协议。 认证...

2018-05-08 12:25:55

阅读数:375

评论数:2

NDK开发一些棘手的问题

javah每当我们去创建一个本地方法,那么对应的C层方法名则应该是Java_包名类名方法名。每次都要自己去写很容易出错。这里我们可以使用javah这个命令来帮我们实现。 1.打开dos命令行,也可以是as自带的Terminal模块 2.跳转到包名的最顶层,一般我们是到 项目/app/...

2017-10-31 22:32:00

阅读数:147

评论数:0

AndroidStudio的NDK配置

本文教学课程文章,仅供参考:1.环境安装AndroidStudio默认不支持NDK开发,需要下载依赖工具,打开Tools->Android->SDK Manager->SDK Tools选中LLDB和NDK,点击确认,软件会自动安装NDK。这里需要一个较长的时间,耐心等待安装完毕...

2017-10-30 18:45:52

阅读数:292

评论数:0

Linux简单命令操作(上)

1.Linux常见命令 查看当前所在的工作目录 pwd 查看当前系统的时间 date : Thu May 3 01:37:01 CST 2018 date +%Y-%m-%d : 2018-05-03 date +”%Y-%m-%d %H:%M:%S” : 2018-05-03 0...

2017-10-14 23:24:13

阅读数:161

评论数:2

VMware上虚拟网卡配置

VMware上关于网络的配置主要有2种:NAT和桥接模式。本文主要介绍这两种方式中物理机如何连上虚拟机。 NAT NAT(Network Address Translation,网络地址转换)。当在专用网内部的一些主机本来已经分配到了本地IP地址,但现在又想和因特网上的主机通信时,可使用NAT...

2017-10-13 18:55:44

阅读数:199

评论数:2

提示
确定要删除当前文章?
取消 删除