一笑何方-CSDN博客

转载大数据初级项目：数据的采集与监控

一、项目需求与组件架构1.1需求1、三种日志内容：行为日志、内容日志、业务日志。针对这三种日志会采取不同的手段，将数据采集到hdfs中，再建立转化为不同的hive表，以供后续的数据需求分析2、行为日志和内容日志被采集到hdfs中时，要自动按照每一天的日期来划分数据存储目录。3、数据采集好之后，统一使用azkaban来进行shell脚本的调度。因为数据的采集过程需要很多步骤来完成，而这些步骤统一使用shell脚本来自动实现。4、使用prometheu+grafana+supervisor

2021-05-29 15:42:39 1270

原创 Hadoop的安装

1.Hadoop快速入门1.1什么是Hadoop 从狭义上讲Hadoop是一个可拓展的分布式的开源的软件。主要提供分布式存储、分布式资源调度、分布式计算。广义上讲，Hadoop是一个生态。包含了大数据领域中的几乎所有的解决方案。1.2Hadoop核心模块- Hadoop Common : Hadoop的通用的API- HDFS (Haddop Distribute File System) : 分布式文件管理系统，高吞吐量的存储的数据。- Yarn ：作业调度以及资源管理..

2021-05-24 21:29:45 1139 11

转载最短路径问题

一.问题引入问题：从某顶点出发，沿图的边到达另一顶点所经过的路径中，各边上权值之和最小的一条路径——最短路径。解决最短路的问题有以下算法，Dijkstra算法，Bellman-Ford算法，Floyd算法和SPFA算法，另外还有著名的启发式搜索算法A*，不过A*准备单独出一篇，其中Floyd算法可以求解任意两点间的最短路径的长度。笔者认为任意一个最短路算法都是基于这样一个事实：从任...

2018-04-15 20:56:58 559

转载 BFS和DFS模板

#include<stdio.h> #define N 100 /**DFS深度优先搜索是从图中的某个顶点出发，先访问初始点，然后访问其邻接点u（没有被访问过，下同），再访问u的邻接点，一直到深入访问*/ //邻接表结构 typedef struct Anode { int adj; //终点位置 struct Anode *nex...

2018-03-31 16:41:47 362

转载 ACM模板

之前做过acm，总结出来了一些算法模板。这些是我在搞懂先自己写然后想大牛靠拢不断优化的结果，可能有些是大牛们的源代码，在此一并发出，希望对大家有所帮助，代码中可能有错，在此表示歉意。[cpp] view plain copy 动态规划模板处理求矩阵的最大子矩 //***********************************************************...

2018-03-30 19:52:01 347

转载动态规划算法

一、基本概念动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。二、基本思想与策略基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。在求解任一子问题时，列出各种可能的局部解，通过决策保留那...

2018-03-30 09:51:23 196

转载教你彻底学会动态规划——入门篇

动态规划相信大家都知道，动态规划算法也是新手在刚接触算法设计时很苦恼的问题，有时候觉得难以理解，但是真正理解之后，就会觉得动态规划其实并没有想象中那么难。网上也有很多关于讲解动态规划的文章，大多都是叙述概念，讲解原理，让人觉得晦涩难懂，即使一时间看懂了，发现当自己做题的时候又会觉得无所适从。我觉得，理解算法最重要的还是在于练习，只有通过自己练习，才可以更快地提升。话不多说，接下来，下面我就...

2018-03-30 09:50:00 249

转载程序员常用的技术网站

如果你想学习编程，但是找不到学习路径和资源，欢迎关注专栏：学习编程那么有哪些地方，可以快速的满足我们程序员的日常需求呢～别急别急，且慢慢听我道来。（http://stackoverflow.com/）这个网站我几乎可以不用介绍了，就算你们不常用，就算每次你都用搜索引擎去找编程相关问题都有很大可能跳入此网站。此网站用途：当你碰到任何编程问题，就去搜索该问题，如果没有解决方法就提问吧。（大

2017-08-24 11:25:57 498

原创 NYOJ组合数

描述找出从自然数1、2、... 、n（0<n<10）中任取r(0<r<=n)个数的所有组合。输入输入n、r。输出按特定顺序输出所有组合。特定顺序：每一个组合中的值从大到小排列，组合之间按逆字典序排列。样例输入5 3样例输出543542541532531521432431421321#includeint n,m;in

2017-08-22 10:26:39 311

原创 NYOJ部分和问题

描述给定整数a1、a2、.......an，判断是否可以从中选出若干数，使它们的和恰好为K。输入首先，n和k，n表示数的个数，k表示数的和。接着一行n个数。（1输出如果和恰好可以为k，输出“YES”，并按输入顺序依次输出是由哪几个数的和组成，否则“NO”样例输入4 131 2 4 7样例输出YES2 4 7#include#in

2017-08-22 10:24:59 324

原创 NYOJ素数环

描述有一个整数n，把从1到n的数字无重复的排列成环，且使每相邻两个数（包括首尾）的和都为素数，称为素数环。为了简便起见，我们规定每个素数环都从1开始。例如，下图就是6的一个素数环。输入有多组测试数据，每组输入一个n(0输出每组第一行输出对应的Case序号，从1开始。如果存在满足题意叙述的素数环，从小到大输出。否则输出No Answer。样

2017-08-22 10:21:54 327

原创 HDOJ1175连连看

Problem Description“连连看”相信很多人都玩过。没玩过也没关系，下面我给大家介绍一下游戏规则：在一个棋盘中，放了很多的棋子。如果某两个相同的棋子，可以通过一条线连起来（这条线不能经过其它棋子），而且线的转折次数不超过两次，那么这两个棋子就可以在棋盘上消去。不好意思，由于我以前没有玩过连连看，咨询了同学的意见，连线不能从外面绕过去的，但事实上这是错的。现在已经酿成大祸，就只能将

2017-08-22 10:19:46 321

原创 NYOJ矩形嵌套

描述有n个矩形，每个矩形可以用a,b来描述，表示长和宽。矩形X(a,b)可以嵌套在矩形Y(c,d)中当且仅当a<c,b<d或者b<c,a<d（相当于旋转X90度）。例如（1,5）可以嵌套在（6,2）内，但不能嵌套在（3,4）中。你的任务是选出尽可能多的矩形排成一行，使得除最后一个外，每一个矩形都可以嵌套在下一个矩形内。输入第一行是一个正正数N(0每组测试数据的第一行是一

2017-08-19 19:56:28 248

原创 nyoj61传纸条(一) 双线DP

题目描述小渊和小轩是好朋友也是同班同学，他们在一起总有谈不完的话题。一次素质拓展活动中，班上同学安排做成一个m行n列的矩阵，而小渊和小轩被安排在矩阵对角线的两端，因此，他们就无法直接交谈了。幸运的是，他们可以通过传纸条来进行交流。纸条要经由许多同学传到对方手里，小渊坐在矩阵的左上角，坐标(1,1)，小轩坐在矩阵的右下角，坐标(m,n)。从小渊传到小轩的纸条只可以向下或者向右传递，从小轩

2017-08-19 19:53:22 508

原创动态规划和贪心算法的比较

动态规划和贪心算法都是一种递推算法均有局部最优解来推导全局最优解不同点：贪心算法： 1.贪心算法中，作出的每步贪心决策都无法改变，因为贪心策略是由上一步的最优解推导下一步的最优解，而上一部之前的最优解则不作保留。 2.由（1）中的介绍，可以知道贪心法正确的条件是：每一步的最优解一定包含上一步的最优解。动态规划算法： 1.全局最优解中一定包含某个局部最优解

2017-08-19 19:51:26 955

原创传智java完整教学视频

这个是2015传智java完整教学视频直接保存到百度网盘，就可以下载观看。http://pan.baidu.com/s/1o76NWoU

2017-08-19 19:45:23 2478

原创郝斌数据结构教学视频

这是郝斌数据结构教学视频（免费的哦）直接搜索这个地址，然后保存百度网盘。下载后，就可以免费听课http://pan.baidu.com/s/1geRuWtd

2017-08-19 19:39:50 868

原创 NYOJ又见01背包

描述有n个重量和价值分别为wi 和 vi 的物品，从这些物品中选择总重量不超过 W 的物品，求所有挑选方案中物品价值总和的最大值。　　1 　　1 　　1 　　1 输入多组测试数据。每组测试数据第一行输入，n 和 W ，接下来有n行，每行输入两个数，代表第i个物品的wi 和 vi。输出满足题意的最大价值，每组测试数据占一行。样例输入

2017-08-18 10:47:58 275

原创 NYOJ完全背包

描述直接说题意，完全背包定义有N种物品和一个容量为V的背包，每种物品都有无限件可用。第i种物品的体积是c，价值是w。求解将哪些物品装入背包可使这些物品的体积总和不超过背包容量，且价值总和最大。本题要求是背包恰好装满背包时，求出最大价值总和是多少。如果不能恰好装满背包，输出NO输入第一行： N 表示有多少组测试数据（N接下来每组测试数据的第一行有两个整数M，V。 M表

2017-08-18 10:42:56 248

原创 nyojzb的生日

描述今天是阴历七月初五，acm队员zb的生日。zb正在和C小加、never在武汉集训。他想给这两位兄弟买点什么庆祝生日，经过调查，zb发现C小加和never都很喜欢吃西瓜，而且一吃就是一堆的那种，zb立刻下定决心买了一堆西瓜。当他准备把西瓜送给C小加和never的时候，遇到了一个难题，never和C小加不在一块住，只能把西瓜分成两堆给他们，为了对每个人都公平，他想让两堆的重量之差最小。每个西瓜

2017-08-18 10:23:15 273

原创 nyoj邮票分你一半

描述小珂最近收集了些邮票，他想把其中的一些给他的好朋友小明。每张邮票上都有分值，他们想把这些邮票分成两份，并且使这两份邮票的分值和相差最小（就是小珂得到的邮票分值和与小明的差值最小），现在每张邮票的分值已经知道了，他们已经分好了，你知道最后他们得到的邮票分值和相差多少吗？输入第一行只有一个整数m（m接下来有一个整数n(n然后有n个整数Vi(Vi输出输出差值，每组输出占

2017-08-18 10:14:52 327

原创 nyoj苹果01背包问题

描述ctest有n个苹果，要将它放入容量为v的背包。给出第i个苹果的大小和价钱，求出能放入背包的苹果的总价钱最大值。输入有多组测试数据，每组测试数据第一行为2个正整数，分别代表苹果的个数n和背包的容量v，n、v同时为0时结束测试，此时不输出。接下来的n行，每行2个正整数，用空格隔开，分别代表苹果的大小c和价钱w。所有输入数字的范围大于等于0，小于等于1000。输出对

2017-08-18 09:59:59 282

原创 hduoj1285确定比赛名次（拓扑排序模板）

题目描述有N个比赛队（1输入输入有若干组，每组中的第一行为二个数N（1输出给出一个符合要求的排名。输出时队伍号之间有空格，最后一名后面没有空格。其他说明：符合条件的排名可能不是唯一的，此时要求输出时编号小的队伍在前；输入数据保证是正确的，即输入数据确保一定能有一个符合要求的排名。样例输入4 31 22 34 3样例输

2017-08-15 20:32:50 339

原创 hduoj1874畅通工程续（多种解法）

题目描述小明想去旅游，但是交通地图上的路太多了。路多了也不好，每次要从一个城镇到另一个城镇时，都有许多种道路方案可以选择，而某些方案要比另一些方案行走的距离要短很多。这让小明很困扰。现在，已知起点和终点，请你计算出要从起点到终点，最短需要行走多少距离。输入本题目包含多组数据，请处理到文件结束。每组数据第一行包含两个正整数N和M(0接下来是M行道路信息。每一行

2017-08-15 20:22:50 290

转载奋斗

一个人，想要优秀，你必须要接受挑战；一个人，你想要尽快优秀，就要去寻找挑战。谨以此文，献给每一个为理想而奋斗，并生生不息的人们。。。作者：豌豆与花妮　回复日期：2010-03-12　23:27:34　大学的时候减肥，每天至少1500米吧，外加不怎么吃东西，坚持了两三个月吧，减掉35斤吧。　　　然后考研，每天6点差10分起床，接近凌晨1点睡觉坚持了8个

2017-08-14 08:40:25 392

转载 dijkstra算法

对下图中的有向图，应用Dijkstra算法计算从源顶点1到其它顶点间最短路径的过程列在下表中。#include using namespace std; const int maxnum = 100;const int maxint = 999999; // 各数组都从下标1开始int dist[maxnum]; // 表示当前点到源点的最短路径

2017-08-13 20:22:58 511

原创杭电1233畅通工程

Problem Description某省调查乡村交通状况，得到的统计表中列出了任意两村庄间的距离。省政府“畅通工程”的目标是使全省任何两个村庄间都可以实现公路交通（但不一定有直接的公路相连，只要能间接通过公路可达即可），并要求铺设的公路总长度为最小。请计算最小的公路总长度。Input测试输入包含若干测试用例。每个测试用例的第1行给出村庄数目N ( 当N为0时，输入

2017-08-13 19:14:44 298

原创表达式求值（数据结构）

描述小明想做一个计算器，但是，他要做的不仅仅是一计算一个A+B的计算器，他想实现随便输入一个表达式都能求出它的值的计算器，现在请你帮助他来实现这个计算器吧。比如输入：“1+2/4=”，程序就输出1.50（结果保留两位小数）输入第一行输入一个整数n，共有n组测试数据（n每组测试数据只有一行，是一个长度不超过1000的字符串，表示这个运算式，每个运算式都是以“=”结束。

2017-08-08 15:26:17 1970

原创优先队列

优先队列：顾名思义，首先它是一个队列，但是它强调了“优先”二字，所以，已经不能算是一般意义上的队列了，它的“优先”意指取队首元素时，有一定的选择性，即根据元素的属性选择某一项值最优的出队~百度百科上这样描述的：　　优先级队列是不同于先进先出队列的另一种队列。每次从队列中取出的是具有最高优先权的元素　　优先队列的类定义　　　　优先队列是0个或多个元素的集合,每个元素都有一个优先权或

2017-08-08 15:22:12 442

原创小甲鱼数据结构教学视频（百度网盘）

这是小甲鱼数据结构教学视频（免费的哦）直接搜索这个地址，然后保存百度网盘。下载后，就可以免费听课http://pan.baidu.com/pcloud/album/info?uk=3660825403&album_id=7850513088972800273

2017-08-08 15:15:24 15007

原创数据结构中各种排序思路详解

排序：Void X-Sort(ElementType A[],int N){}/*1、 N基于正整数2、基于比较的排序（>=3、只要讨论内部排序4、稳定性：任意两个相等的数据，排序前后相对位置不变5、 X:排序算法的名称*/冒泡排序：它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到

2017-08-08 15:07:45 2350

转载成为IT精英，我奋斗了七年

看了这篇文章，感触良多。。。这些日子我一直在写一个实时操作系统内核，已有小成了，等写完我会全部公开，希望能够为国内IT的发展尽自己一份微薄的力量。最近看到很多学生朋友和我当年一样没有方向，所以把我的经历写出来与大家共勉，希望能给刚如行的朋友们一点点帮助。一转眼我在IT行业学习工作已经七年多了，这期间我做过网页，写过MIS、数据库，应用程序，做过通信软件、硬件驱动、协议栈，

2017-08-06 20:58:55 346

原创二分查找

二分查找思想：二分查找可以解决预排序数组的查找问题。只要数组中包含T（即要查找的值），那么通过不断的缩小包含T的范围，最终就可以找到它。一开始，范围覆盖整个数组，将数组的中间项与T进行比较，可以排除一般的元素，范围缩小一半。就这样反复比较反复缩小范围，最终就会在数组中找到T，或者确定原以为T所在的范围实际为空。对于包含N个元素的表，整个查找过程大约要经过Log（2）N次比较。

2017-08-05 19:22:18 219

转载全排列生成算法：next_permutation

概念全排列的生成算法有很多种，有递归遍例，也有循环移位法等等。C++/STL中定义的next_permutation和prev_permutation函数则是非常灵活且高效的一种方法，它被广泛的应用于为指定序列生成不同的排列。本文将详细的介绍prev_permutation函数的内部算法。按照STL文档的描述，next_permutation函数将按字母表顺序生成给定序列的下一个较

2017-08-05 15:56:17 316

转载 C++中栈结构建立与操作详细解析

什么是栈结构栈结构是从数据的运算来分类的，也就是说栈结构具有特殊的运算规则，即：后进先出。我们可以把栈理解成一个大仓库，放在仓库门口（栈顶）的货物会优先被取出，然后再取出里面的货物。而从数据的逻辑结构来看，栈结构起始就是一种线性结构。如果从数据的存储结构来进一步划分，栈结构包括两类：顺序栈结构：即使用一组地址连续的内存单元依次保存栈中的数据。在程序中，可以定义一个指定大小的

2017-08-04 19:19:19 1654

转载 C++字符串详解

C++字符串：之所以抛弃char*的字符串而选用C++标准程序库中的string类，是因为他和前者比较起来，不必担心内存是否足够、字符串长度等等，而且作为一个类出现，他集成的操作函数足以完成我们大多数情况下(甚至是100%)的需要。我们可以用 = 进行赋值操作，== 进行比较，+ 做串联（是不是很简单?）。我们尽可以把它看成是C++的基本数据类型。好了，进入正题………首先，

2017-08-04 16:47:02 417

原创 C++中lower_bound函数和upper_bound函数

STL中关于二分查找的函数有三个lower_bound 、upper_bound 、binary_search 。这三个函数都运用于有序区间（当然这也是运用二分查找的前提），下面记录一下这两个函数。ForwardIter lower_bound(ForwardIter first, ForwardIter last,const _Tp& val)算法返回一个非递减序列[first,

2017-08-04 16:14:58 689

转载 STL(C++）详细概述

STL的一个重要特点是数据结构和算法的分离。尽管这是个简单的概念，但这种分离确实使得STL变得非常通用。例如，由于STL的sort()函数是完全通用的，你可以用它来操作几乎任何数据集合，包括链表，容器和数组。要点STL算法作为模板函数提供。为了和其他组件相区别，在本书中STL算法以后接一对圆括弧的方式表示，例如sort()。STL另一个重要特性是它不是面向对象的。为了具有足够通用性，S

2017-08-03 19:24:25 327

原创 C++排序问题

Set结构体排序：#include #include #include using namespace std; struct node{char ch;int cost;node(){ch = '\0';cost = 0;}//把这个函数注释了，对整个程序没有任何影响bool operator == ( const node &rh

2017-08-03 19:18:42 1900

原创 C++输入输出格式控制

C++中输入输出的十六进制八进制1、数的进制默认进制：默认状态下，数据按十进制输入输出。如果要求按八进制或十六进制输入输出，在cin或cout中必须指明相应的数据形式，oct为八进制，hex为十六进制，dec为十进制。int i, j, k, l;coutcin>>oct>>i; //输入为八进制数cin>>hex>>j; //输入为十六进制数cin>>k; //输

2017-08-03 19:15:54 1800

空空如也

空空如也