- 博客(45)
- 资源 (1)
- 收藏
- 关注
RSS订阅
转载 YARN基本框架和工作流程
YARN基本框架和工作流程 YARN的基本组成架构 ResourceManager(RM) 调度器 应用程序管理器 NodeManager(NM) container YARN的通信协议 YARN工作流程 YARN基本框架和工作流程 YARN是Hadoop2.0中资源管理系统，它的基本设计思想是将MRV1中的jobtracker拆分成了两个独立的服务：一个全局的资源管理器r...
2018-07-20 16:38:41
890
转载 HBase Shell实例
HBase Shell 常用操作 1. 命名空间 2. DDL语句 3. put与get 4. 其他DML语句 5. scan和filter HBase Shell 常用操作 HBase Shell是HBase的一个命令行工具，我们可以通过它对HBase进行维护操作。我们可以使用sudo -u hbase hbase shell来进入HBase shell。 在HBase sh...
2018-06-24 19:21:01
1478
原创 HDFS读写过程
HDFS读写过程 写数据流程 使用HDFS客户端向远程Namenode发送RPC请求 Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会文件文件创建一个记录，否则会让客户端抛出异常 当客户端开始写入文件的时候，客户端会将文件分为多个packets，并在内部以数据队列的形式管理这些packets，并向Namenode申请blocks，获取用来存储复本的合适的...
2018-06-23 11:57:19
1146
转载 Opennebula架构分析
前言 物理架构 主要进程 代码组织结构 oned one_*m.rb CLI API 接口 总结 前言 OpenStack使用的语言是python，比他年长的2岁的OpenNebula就显得比较奇葩，使用的是C语言和Ruby，shell，多种语言混杂而成。 关于两者的优劣在此不做讨论，但我个人认为OpenStack的发展偏向公有云，而OpenNebula的设计初衷就是私有云，...
2018-06-08 20:52:54
1687
原创 HiveQL学习笔记2
HiveQL学习笔记2 1、操作与函数 可以在hive的shell环境中输入SHOW FUNCTIONS以获取函数列表。 例如： Hive> DESCRIBE FUNCTION length; 2、表 托管表和外部表 待编辑，本来在word里，但是电脑突然关机，一点也没保存下来 外部表： 丢弃外部表时，hive不会去碰数据，只会删除元数据 3、分区和桶 Hive...
2018-06-01 11:38:20
461
转载 Hive技术原理
什么是Hive Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer...
2018-09-16 09:19:06
494
转载 JAVA_Heap_Sort
JAVA 堆排序 堆 堆是具有下列性质的完全二叉树：每个结点的值都大于或等于其左右孩子结点的值，称为大顶堆；或者每个结点的值都小于或等于其左右孩子结点的值，称为小顶堆。 算法思想： 将待排序的序列构造成一个大顶堆。此时，整个序列的最大值就是堆顶的根节点。将它移走(其实就是将其与堆数组的末尾元素交换，此时末尾元素就是最大值)，然后将剩余的n-1个序列重新构造成一个堆，这样就会得到n个...
2018-09-09 10:18:06
543
转载 MapReduce Top-K问题
Mappers 使用默认的mapper数据，一个input split（输入分片）由一个mapper来处理。 在每一个map task中，我们找到这个input split的前k个记录。这里我们用TreeMap这个数据结构来保存top K的数据，这样便于更新。下一步，我们来加入新记录到TreeMap中去（这里的TreeMap我感觉就是个大顶堆）。在map中，我们对每一条记录都尝试去更新Tree...
2018-09-09 10:00:52
649
转载 MapReduce矩阵相乘
数据准备 A=⎡⎣⎢147258309⎤⎦⎥(1)(1)A=[123450789] A= \left[ \begin{matrix} 1 & 2 & 3 \\ 4 & 5 & 0 \\ 7 & 8 & 9 \end{matrix} \right] \tag{1} B=⎡⎣⎢100111529⎤⎦⎥
2018-08-17 23:22:23
919
原创 Python 归并排序
Python 归并排序 归并排序采用分而治之的方法，递归求解。 - 将长度为n的列表分成两个长度为n/2的子序列 - 对两个子序列分别采用归并排序 - 将两个排序好的子序列合并成一个最终的排序列表 代码如下： # -*- coding:utf-8 _*- # @Author: dreams # @File: merge_sort.py # @Time: 2018/7/2...
2018-07-26 10:34:00
563
原创 Python 冒泡排序
Python 冒泡排序 冒泡排序是最简单的排序，也没什么技术含量，就为了凑一个排序十大算法集合。 冒泡排序首先比较相邻的两个元素，如果第一个比第二个大，那么就交换，否则继续往后比较，知道最后一对。重复以上步骤，直到最后一对。 代码如下： # -*- coding:utf-8 _*- # @Author: dreams # @File: bubble_sort.py # @T...
2018-07-26 09:24:25
461
原创 Hadoop常用命令
Hadoop常用命令 Hadoop常用命令 命令基本格式 hadoop fs -cmd <args> ls hadoop fs -ls / hadoop fs -ls -R / put hadoop fs -put <local file> <hdfs file> hadoop fs -put dongle.c / had...
2018-07-01 20:32:19
414
原创 Flume学习笔记
Flume学习笔记 概述 数据流模型 Flume事件 拦截器，通道选择器与选择处理器 通道 内存/非持久化通道（内存通道） 配置参数表 本地文件系统/持久化通道（文件通道） 配置参数表 Flume学习笔记 概述 Apache Flume是一个分布式，高可靠和高可用的系统，它用于高校的收集，汇总和将大量来自不同来源的日志数据移动到一个中央数据仓库。 ...
2018-06-30 15:20:21
1242
原创 Sqoop导入导出数据
Sqoop 安装部署 sqoop相关配置 测试Sqoop 从mariadb导入到HDFS 从HDFS导出到mariadb 从mariadb导入HBase 从HBase导出到mariadb 从mariadb导入Hive 从Hive到导出到mariadb Sqoop 安装部署 sqoop –> 1.4.7 hadoop –>2.7.5 默认系...
2018-06-29 17:47:58
940
转载 HiveQL的基本操作
Hive教程 Hive概念 Hive是什么 Hive不适合做什么 数据单元 数据类型 内置运算和函数 SQL 用法和实例 创建表 浏览表和分区 修改表 删除表 加载数据 查询和插入数据 简单的查询 基于查询的分区 连接 聚合 多表/文件插入 动态分区插入 插入到本地文件 抽样 全连接 数组操作 Map（关联数组）操作 定制Map/Reduce脚本 Co-Groups ...
2018-06-26 16:14:30
1259
原创 HBase基础
HBase Shell Shell 通用命令 status：提供HBase的状态， 例如服务器的数量 version：提供正在使用HBase版本 table_help：表引用命令提供帮助 whoami：提供有关用户的信息 Shell 数据定义语言（DDL） 列举HBase Shell支持的可以在表中操作的命令 create：用于创建一个表 list：用于列出HBase的所有...
2018-06-24 16:50:02
566
转载 SQL查询总结
SQL基础查询，关联查询 SQL基础查询 基础查询语句 FROM 使用别名 WHERE字句 SELECT字句 查询条件 使用>，<，>=，<=，!=，<>，= 使用AND，OR关键字 使用LIKE条件（模糊查询） 使用I
2018-06-24 11:54:35
1121
原创 ThriftParserError: ThriftPy does not support generating module with path in protocol 'd'解决办法
使用python连接hbase 1、安装包 2、代码 3、问题 使用python连接hbase 1、安装包 pip install happybase pip install thrift 2、代码 #-*- coding:utf-8 _*- # @Author: dreams # @File: connect.py # @Time: 2018/...
2018-06-11 16:22:05
1204
转载 Vim命令学习参考
1. 关于Vim 1.1 Vim的几种模式 2. 启动Vim 3. 文档操作 4. 光标的移动 4.1 基本移动 4.2 翻屏 4.3 标记 5. 插入文本 5.1 基本插入 5.2 改写插入 6. 剪切复制和寄存器 6.1 剪切和复制、粘贴 6.2 文本对象 6.3 寄存器 7. 查找与替换 7.1 查找 7.2 替换 7.3 正则表达式 8. 排版 8.1 基本排版 8...
2018-06-10 09:15:04
560
原创 常用小工具
文档格式转换 画图 processon Latex在线编辑器 Latex在线编辑器 markdown在线编辑器 markdown在线编辑器2 图表工具
2018-06-08 22:59:29
359
转载 思科模拟器交换机路由器常用命令
路由器命令 1,路由器口令设置： 2,路由器配置： 3,路由器文件操作： 4,静态路由： 5,动态路由： 6,帧中继命令： 7,基本访问控制列表： 例1： 例2： 扩展访问控制列表： 例1： 例2： 删除访问控制例表: 路由器的nat配置 外部网关协议配置 配置PPP验证： 8，路由器子接口封装为8021Q （补充） 交换机常用命令 交换机基本状态： 交换机口令设置： 交换机VLA...
2018-06-05 20:14:25
17242
1
原创 Python_选择排序
Python 快速排序 选择排序的排序原理是每一次都从待排序的元素和中选择出最小或者最大的一个元素，存放在起始的位置，例如，从开始j，i两个索引，j负责起始位置，也就是j的索引是指向最小的值，然后在j的之后的元素中找最小的值，然后更新small_value_index，当找到最小元素的时候，将j和最小元素交换位置。 代码如下： # -*- coding: utf-8 -*- # @Tim...
2018-06-05 10:01:01
405
原创 Python_希尔排序
Python 希尔排序 希尔排序也称缩小增量排序，是直接插入排序算法的一种更高效的改进版本，希尔排序的核心思想是：先将数组分割成若干个子序列，分别进行直接插入排序，然后一次缩减增量再进行排序，直至增量为零，然后对全体进行一次直接插入排序。 增量也叫分组步长， 第一次为len(array) / 2 第二次为(len(array)/2) / 2 直到增量为1 index 和 index+s...
2018-06-04 17:58:27
339
原创 Python_插入排序
Python 插入排序 插入排序的基本思想是将列表分为两段，（左边，当前元素值，右边）。位置（position）从索引1开始，首先当前位置的值和当前位置的左边一个元素做比较，由于刚开始当前位置左边只有一个元素，所以左边是已经拍好顺序的，插入排序的核心就是左边任何时候都是已经拍好顺序的。当当前位置和当前位置左边元素比较的时候，如果当前位置的左边一个元素的值大于当前位置元素值，那么当前位置左边一个元...
2018-06-04 16:59:50
304
原创 Flume学习笔记
Flume学习笔记 本章代码链接：https://github.com/gitdreams/hadoop-book/tree/master/ch14-flume 1、要想使用Flume,就需要运行Flume代理，Flume代理有持续运行的source（数据来源），sink（数据目标）以及channel（用于连接source和sink）构成的java进程。 源，水池，渠道 2、事务和可靠性，...
2018-06-04 15:54:40
330
原创 HBase学习笔记
HBase学习笔记 1、 HBase特性 2、 HBase访问接口 3、 HBase数据模型 4、 区域 5、 实现 6、 运行中的HBase 7、 HBase shell 8、 HBase和RDBMS的比较 HBase学习笔记 是BigTable的开源实现 1、 HBase特性 高可靠，高性能，面向列，可伸缩。 ...
2018-06-04 15:48:29
598
转载 Git常用命令
**git init # 初始化本地git仓库（创建新仓库） git config –global user.name “xxx” # 配置用户名 git config –global user.email “xxx@xxx.com” ...
2018-06-01 17:52:59
354
原创 HiveQL学习笔记
HiveQL学习笔记 1、SQL和HiveQL的概要比较 特性 SQL HiveQL 更新 UPDATA , INSERT, DELETE UPDATE, INSERT, DELETE 事务 支持 有限支持 索引 支持 支持 延迟 亚秒级 分钟级 数据类型 整数，浮点数，定点数，文本和二进制串，时间...
2018-05-31 10:07:32
410
原创 Hive学习笔记
Hive笔记 1、 Hive的shell环境 hive>show tables; hive>hive –e ‘select * from dummy’ 生成简单单行表: echo ‘X’ > /tmp/dummy.txt hive –e “create table dummy(value string); load data local inpath ‘/tmp...
2018-05-31 09:54:39
582
原创 Python_快速排序
快速排序有三个变量：low（left），hight（right），key（其中left，right代表数组的首尾，是不变值） low是指向数组左边的指针，hight是指向数组右边的指针，key是比较的基准。在执行快速排序的过程中，首先 hight从有到左移动，如果low小于hight，而且hight指向的值大于key，那么hight就继续往左移动 如果hight指向的数据小于了key，那么就...
2018-05-30 11:09:33
369
原创 HDFS学习笔记
Hdfs笔记 1、 分布式文件系统 主节点：数据目录（元数据）服务 从节点：具体完成数据的存储任务 HDFS：兼容廉价的硬件设备，实现流数据读写，支持大数据集，支持简单的文件模型，强大的跨平台兼容性 HDFS局限性：不适合低延迟数据访问，无法高效存储大量小文件，不支持多用户写入以及任意修改文件。 2、 HDFS相关概念 快： 1、为了分摊磁盘读写开销，也就是...
2018-05-29 20:53:03
866
原创 Sqoop学习笔记
Sqooop学习随笔 HDFS能够可靠的存储日志和来自不同渠道的其他数据，MapReduce程序能够解析多种特定的（adhoc）数据格式 1、 Sqoop允许用户将数据从结构化存储器抽取到Hadoop中。 2、 Sqoop连接器 Sqoop拥有一个可扩展的框架，使得它能够从（向）任何支持批量数据传输的外部存储系统导入（导出）数据。 3、 文本和二进制文件格式 ...
2018-05-29 17:11:15
344
原创 Spark的安装与配置
Spark是一个开源集群运算框架，Spark在存储器内运行程序运算速度比Hadoop MapReduce的运算快100倍以上。
2018-05-18 18:01:04
688
原创 HBase的安装与部署
HBase是一个分布式的，面向列的开源数据库，是Google三大论文之一的“BigTable”的开源实现，它适合于非结构化数据存储。
2018-05-18 11:52:28
437
原创 hadoop拒绝远程连接解决办法
我在主机上配置好hadoop之后，开启hadoop服务，在同一个局域网下的另一台主机使用eclipse连接hadoop，虽然创建连接成功，但是进行上传文件的时候会报如下错误
2018-05-18 11:37:07
4625
原创 第一个MapReduce程序
第一个程序一般都是Hello World，所以说MapReduce的第一个程序就是单词计数，主要代码如下： package Temperature; import java.io.IOException; import java.util.*; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.*; import or...
2018-05-15 15:07:17
312
原创 Hadoop on Windows Error JAVA_HOME is incorrectly set
Hadoop on Windows Error JAVA_HOME is incorrectly set
2018-05-15 15:05:17
645
原创 eclipse添加hadoop插件
下载hadoop-eclipse-plugin-2.6.5.jar，并将其添加到eclipse的plugins目录下重启eclipse关闭hdfs服务器的防火墙，修改相应配置文件使之能够通过IP加端口访问在windows上下载hadoop，并解压到一个目录在window-->Preferences-->Hadoop Map/Reduce下边，选择刚刚解压的hadoop目录，提交并关闭w...
2018-04-24 18:16:33
1762
原创 hadoop搭建教程
最近准备学习一些大数据的入门知识，当然是从搭建环境开始了，下面我把我搭建hadoop的步骤以及遇到的一些问题写在下边。 搭建前的准备： centos7环境 jdk环境 ssh免密登录 用户组 准备好以上几步之后就可以搭建hadoop了。 安装centos的步骤就不在这里赘述了。 jdk环境如果centos操作系统自带的话那么找到JAVA_HO...
2018-04-15 11:38:47
613
JavaJDK7.0API
2017-05-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人