MannerXu的博客

前言算法很重要，但是一般情况下做移动开发并不经常用到，所以很多同学早就将算法打了个大礼包送还给了老师了，况且很多同学并没有学习过算法。这个系列就让对算法头疼的同学能快速的掌握基本的算法。过年放假阶段玩了会游戏NBA2K17的生涯模式，没有比赛的日子也都是训练，而且这些训练都是自发的，没有人逼你，从早上练到晚上，属性也不涨，但是如果日积月累，不训练和训练的人的属性值就会产生较大差距。这个突然让我意识到了现实世界，要想成为一个球星（技术大牛）那就需要日积月累的刻意训练，索性放下游戏，接着写文章吧。1.算法

项目中打算使用Flume把数据直接传到Hive表而不是HDFS上，使用Hive作为Sink，Flume版本为1.9.0。前期启动遇到各种报错：NoClassDefFoundError: org/apache/hadoop/hive/ql/session/SessionStateNoClassDefFoundError: org/apache/hadoop/hive/cli/CliSessionStateNoClassDefFoundError: org/apache/hadoop/hive/

Flume HDFS Sink配置详解Name Default Description channel – type – 组件的名称，必须为：HDFS hdfs.path – HDFS目录路径，例如：hdfs://namenode/flume/webdata/ hdfs.filePrefix FlumeData HDFS目录中，由Flume创建的文件前缀。 hdfs.fileSuffix – .

方法一Linux网络编程的实验中遇到了开启server后用CTRL+C退出但是端口仍被server占用的情况，首先可以用lsof查看占用端口的进程号 lsof -i:端口号然后kill掉占用进程，就可以再次启动server了 kill -9 进程号当然上述还是有些麻烦，因此可以用以下一条命令替代： sudo kill -9 $(lsof -i:端口号 -t)方法二port=8030# 根据端口号去查询对应的PIDpid = $(netst...

一般是windows才会出现这个问题请看下面的解决方案：第一步：下载winutils-master.zip蓝奏云：https://www.lanzous.com/i55ccnc如果你安装的hadoop版本是：3.1.2或者3.2.0 就用winutils-master里面的hadoop-3.0.0配置环境变量吧！第二步：配置环境变量1，新建系统变量2，编辑path变量第三步：重启idea或者eclipse，如果还是报错，请重启电脑试试！...

什么是数据结构？什么是算法？大部分数据结构和算法教材，在开篇都会给这两个概念下一个明确的定义。但是，这些定义都很抽象，对理解这两个概念并没有实质性的帮助，反倒会让你陷入死抠定义的误区。毕竟，我们现在学习，并不是为了考试，所以，概念背得再牢，不会用也就没什么用。虽然我们说没必要深挖严格的定义，但是这并不等于不需要理解概念。 下面就从广义和狭义两个层面，来帮你理解数据结构与算法这两个概念。从广义上讲，数据结构就是指一组数据的存储结构。算法就是操作数据的一组方法。图书馆储藏书籍你肯定见过吧？为了.

你是不是觉得数据结构和算法，跟操作系统、计算机网络一样，是脱离实际工作的知识？可能除了面试，这辈子也用不着？尽管计算机相关专业的同学在大学都学过这门课程，甚至很多培训机构也会培训这方面的知识，但是据我了解，很多程序员对数据结构和算法依旧一窍不通。还有一些人也只听说过数组、链表、快排这些最最基本的数据结构和算法，稍微复杂一点的就完全没概念。当然，也有很多人说，自己实际工作中根本用不到数据结构和算法。所以，就算不懂这块知识，只要 Java API、开发框架用得熟练，照样可以把代码写得“飞”起来。事实真的

数据结构及基本操作1.数据结构与算法常见概念： 2.数据结构： 2.1线性结构： 基本概念 数组 字符串 队列 栈 链表 2.2树形结构 基本概念 二叉树的递归遍历 二叉树的非递归遍历 2.3图形结构 2.4集合结构 3.资源链接总结《大话数据结构》和《C++Primer》，文后附《大话数据结构》和《C++Primer》第五版下载链接，本文相关代码均由C++编写。1.数据结构与算法常见概念：数据：是..

递归，其实就是函数调用其本身来实现某些算法。在非必要情况下，尽可能不用递归，而是使用迭代来进行处理。即，使用for、while、foreach等循环来取代递归。迭代使用的是循环结构，递归使用的是选择结构。每个递归定义必须至少有一个条件，当满足条件时递归不再进行。递归的优点：结构更清晰，代码更简洁，更容易让人理解，从而减少代码的阅读时间。下面是两个经典的问题，一个经典的汉诺塔问题，是递归入门的基础，一个八皇后问题，一般是回溯算法的经...

一、Hive优化目标在有限的资源下，提高执行效率二、Hive执行HQL——> Job——> Map/Reduce三、执行计划查看执行计划explain [extended] hql四、Hive表优化1、分区静态分区 动态分区 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; 2、分桶 set ..

Hive的map join 什么是Map Join?MapJoin顾名思义，就是在Map阶段进行表之间的连接。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。Map Join的原理？即在map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同的Map中进行处理。即同一个Key对应的Value可能存在不同的Map中。这样.

缓存雪崩　　缓存雪崩是由于原有缓存失效(过期)，新缓存未到期间。所有请求都去查询数据库，而对数据库CPU和内存造成巨大压力，严重的会造成数据库宕机。从而形成一系列连锁反应，造成整个系统崩溃。　　1. 碰到这种情况，一般并发量不是特别多的时候，使用最多的解决方案是加锁排队。 public object GetProductListNew() { const int cacheTime = 30; co...

概述数据仓库包含的内容很多，它可以包括架构、建模和方法论。对应到具体工作中的话，它可以包含下面的这些内容：以Hadoop、Spark、Hive等组建为中心的数据架构体系。 各种数据建模方法，如维度建模。 调度系统、元数据系统、ETL系统、可视化系统这类辅助系统。我们暂且不管数据仓库的范围到底有多大，在数据仓库体系中，数据模型的核心地位是不可替代的。因此，下面的将详细地阐述数据建模中的典型代表：维度建模，对它的的相关理论以及实际使用做深入的分析。文章结构本文将按照下面的顺序进行阐述：

在数据仓库的建设中，一般都会围绕着星型模型和雪花模型来设计表关系或者结构。下面我们先来理解这两种模型的概念。（一）星型模型图示如下：星型模是一种多维的数据关系，它由一个事实表和一组维表组成。每个维表都有一个维作为主键，所有这些维的主键组合成事实表的主键。强调的是对维度进行预处理，将多个维度集合到一个事实表，形成一个宽表。这也是我们在使用hive时，经常会看到一些大宽表的原因，大宽表一般都是事实表，包含了维度关联的主键和一些度量信息，而维度表则是事实表里面维度的具体信息，使用时候一般通过join来

原理:   快速排序,说白了就是给基准数据找其正确索引位置的过程.   如下图所示,假设最开始的基准数据为数组第一个元素23,则首先用一个临时变量去存储基准数据,即tmp=23;然后分别从数组的两端扫描数组，设两个指示标志:low指向起始位置，high指向末尾.   首先从后半部分开始，如果扫描到的值大于基准数据就让high减1,如果发现有元素比该基准数据的值小(如上图中18<=tmp)，就将high位置的值赋值给low位置,结果如下:然后开始从前往后扫描,如果扫描到的值小于基准数据就让l.

第一种方法：1.⽣成密码对 ssh-keygen 2.copy到远程机器 ssh-copy-id -i ~/.ssh/id_rsa.pub root@host 3.登录 ssh host 第⼆种⽅法1. 关闭防⽕墙和SELinux /sbin/service iptables stop 该命令可以关闭防⽕墙，但是当重启后，防⽕墙会重新开启，输⼊下⾯的命令，让防⽕墙在重启后也不会开启。 chkconfig --level 35 iptabl..

官网的简介如下：《docker中文》，大家更详细的，可以参看官网，当然中文的翻译，也是2017年的版本了，英文好的同学，可以直接观看国外的官网《英文官网》，不好的~可以对照着中文，互看~概述Docker 是世界领先的软件容器平台。开发人员利用 Docker 可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用 Docker 可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用 Docker 可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为 Linux 和

生产中Hive的元数据存储在MySQL中，构建数据字典我们可以通过查询元数据表，导出查询结果后生成自己想要的文档。下面我会一步一步介绍如何生成markdown格式的数据字典文档。定义SQL首先废话不多说，贴出我们需要的在MySQL中使用的SQL。SELECT a. NAME as SCHEMA_NAME,-- 数据库名称 t.TBL_NAME as TABLE_NAME,-- 表名 b.PARAM_VALUE as TABLE_COMMENT,-- 表注释...

目录概述 一、存储Hive版本的元数据表（VERSION） 二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS） 1、DBS 2、DATABASE_PARAMS 三、Hive表和视图相关的元数据表 1、TBLS 2、TABLE_PARAMS 3、TBL_PRIVS 四、Hive文件存储信息相关的元数据表 1、SDS 2、SD_PARAMS 3、SERDES 4、SERDE_PARAMS 五、Hive表字段相关的元数据表 ...

这篇文章写得非常不错~~~https://blog.csdn.net/ThinkWon/article/details/104778621?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendHotData-27.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendHotData-27.nonecase...