- 博客(37)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 CentOS 7下编译Spark源码的坑及解决方案
Spark源码编译断断续续地搞了三天，期间因为虚拟机存储空间、网络等各种问题卡了很久，但幸好最后没有放弃。这篇博文主要记录一些采用Maven将Spark2.4.3编译为支持Hadoop2.6.0-CDH5.13.0过程中碰到的坑和编译小结。目录一、阅读官网二、开始编译三、手动释放内存四、小结 <=太长不看版一、阅读官网官网永远是最权威的。（参见...
2019-08-01 21:47:41
361
原创 基于慕课网日志分析项目的离线数据处理架构简记
这两天按照慕课网视频，跟着老师打了一遍代码，走了一下SparkSQL的离线数据处理流程，为此做一下整理和小结> 项目源码参见：https://github.com/pontsh/ImoocSparkSQLProject### 一、离线处理架构（基于上述日志分析项目）- （一）数据采集：在线/离线搬运（如Flume）- （二）数据清洗：Spark（或其他分布式计算框...
2019-07-23 09:23:27
245
原创 Win10 Spark开发环境搭建及基本模式
本小结主要记录win10下基于scala的spark开发环境搭建，主要有Intellij中sacla插件导入和maven的使用> 参见scala官方文档：https://docs.scala-lang.org/getting-started-intellij-track/getting-started-with-scala-in-intellij.html###一、开发...
2019-07-21 11:35:14
414
原创 CentOS 7 Spark开发单机环境搭建
本文主要记录大数据开发中Linux CentOS7环境下apache的bin版本（源码编译参见https://blog.csdn.net/t_T_c/article/details/98093324）的Hadoop pseudo-distributed、Yarn、Hive、Spark local环境的搭建，该环境主要用户本地虚拟机测试/练手> 强烈建议配合官方文档食用，师傅领进门，修行靠...
2019-07-21 10:29:25
529
原创 【杂记】关于ThinkPHP V5项目上线的若干反思
localhost环境开发反思1.TP5完全开发手册是学习TP5框架的最快捷最高效的工具 项目上线VPS反思1、注意根据TP5安装环境要求对VPS上的linux主机进行相应配置。据完全按开发手册，TP5安装环境要求：PHP >= 5.4.0 开启PDO（用于提升数据库操作安全性）、MBString（用于多字节字符串处理）、CURL拓展可以通过yum安装php56w...
2018-08-29 18:58:29
209
原创 CentOS 7 搭建 LAMP（Linux+Apache+MySQL+PHP）
很久没写博客，从中学到大学，选择太多。算法竞赛难度不断加大，感觉自己已经无法走下去，兴趣也不够，所以尝试接触多点其他事物吧，或许能找到真爱。动手写Linux专题的教程，主要源于部门工作需要，也希望分享出来，能帮到有需要的人。 我的LAMP环境的搭建主要使用yum工具逐个安装，傻瓜式，方便快捷。 一、L—— Linux系统环境，我的环境是虚拟机中安装的CentOS 7 x...
2018-08-29 17:48:40
614
原创 1137 计算系数
1137 计算系数 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold题目描述 Description给定一个多项式(ax + by)^k，请求出多项式展开后x^n y^m项的系数。输入描述 Input Description共一行，包含 5 个整数，分别为a，b，k，n，m，每两个整数之间用一个空格隔开。输出描述 Output Descrip
2015-08-17 18:14:00
3800
原创 2188 最长上升子序列
2188 最长上升子序列 时间限制: 1 s 空间限制: 32000 KB 题目等级 : 钻石 Diamond题目描述 DescriptionLIS问题是最经典的动态规划基础问题之一。如果要求一个满足一定条件的最长上升子序列，你还能解决吗？给出一个长度为N整数序列，请求出它的包含第K个元素的最长上升子序列。例如：对于长度为6的序列，它的最长上升子序列为， 但如果限制一定
2015-08-13 15:03:20
491
原创 1115 开心的金明
1115 开心的金明 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold 题目描述 Description金明今天很开心，家里购置的新房就要领钥匙了，新房里有一间他自己专用的很宽敞的房间。更让他高兴的是，妈妈昨天对他说：“你的房间需要购买哪些物品，怎么布置，你说了算，只要不超过N元钱就行”。今天一早金明就开始做预算，但是他想买的东西太多了，肯定会超过
2015-08-07 11:40:23
705
原创 1461 手机
1461 手机 2007年 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 青铜 Bronze题目描述 Description手机的键盘是这样的：1 2 abc 3 def4 ghi 5 jkl 6 mno7 pqrs 8 tuv 9 wxyz* 0 #要按出英文字母就必须要按数字键多下。例如要按出x就得按9两下，第一下会出w，而第二下会把w变成x。0键按
2015-08-02 16:11:49
506
原创 1392 合并傻子
1392 合并傻子 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 钻石 Diamond题目描述 Description在一个园形操场的四周站着N个傻子,现要将傻子有次序地合并成一堆.规定每次只能选相邻的2个傻子合并成新的一个傻子，并将新的一个傻子的RP数，记为该次合并的RP数。将N个傻子合并成1个的最小RP数为RPn和最大RP数为RPx.钟某人要合并他们，钟某
2015-08-02 15:00:56
827
原创 1382 沙子合并
1382 沙子合并 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 大师 Master题目描述 Description设有N堆沙子排成一排，其编号为1，2，3，…，N（N<=300）。每堆沙子有一定的数量，可以用一个整数来描述，现在要将这N堆沙子合并成为一堆，每次只能合并相邻的两堆，合并的代价为这两堆沙子的数量之和，合并后与这两堆沙子相邻的沙子将和新堆相邻，合
2015-08-02 13:31:43
650
原创 1073 家族
1073 家族 时间限制: 1 s 空间限制: 128000 KB题目描述 Description若某个家族人员过于庞大，要判断两个是否是亲戚，确实还很不容易。现在给出某个亲戚关系图，求任意给出的两个人是否具有亲戚关系。 规定：x和y是亲戚，y和z是亲戚，那么x和z也是亲戚。如果x,y是亲戚，那么x的亲戚都是y的亲戚，y的亲戚也都是x的亲戚。输入描述 Input Descrip
2015-07-30 14:05:35
607
原创 1004 四子连棋（思路重要）
1004 四子连棋 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold 题目描述 Description在一个4*4的棋盘上摆放了14颗棋子，其中有7颗白色棋子，7颗黑色棋子，有两个空白地带，任何一颗黑白棋子都可以向上下左右四个方向移动到相邻的空格，这叫行棋一步，黑白双方交替走棋，任意一方可以先走，如果某个时刻使得任意一种颜色的棋子形成四个一线（包括斜
2015-07-26 15:30:47
2426
1
原创 1026 逃跑的拉尔夫
1026 逃跑的拉尔夫 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold题目描述 Description年轻的拉尔夫开玩笑地从一个小镇上偷走了一辆车，但他没想到的是那辆车属于警察局，并且车上装有用于发射车子移动路线的装置。那个装置太旧了，以至于只能发射关于那辆车的移动路线的方向信息。编写程序，通过使用一张小镇的地图帮助警察局找到那辆车。程序必须能表
2015-07-25 16:40:53
663
原创 1040 统计单词个数
1040 统计单词个数 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold题目描述 Description给出一个长度不超过200的由小写英文字母组成的字母串(约定;该字串以每行20个字母的方式输入，且保证每行一定为20个)。要求将此字母串分成k份(1<k<=40)，且每份中包含的单词个数加起来总数最大（每份中包含的单词可以部分重叠。当选用一个单词之
2015-07-24 16:38:12
853
原创 1090 加分二叉树
1090 加分二叉树 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 钻石 Diamond题目描述 Description设一个n个节点的二叉树tree的中序遍历为（l,2,3,…,n），其中数字1,2,3,…,n为节点编号。每个节点都有一个分数（均为正整数），记第j个节点的分数为di，tree及它的每个子树都有一个加分，任一棵子树subtree（也包含tree本
2015-07-22 20:40:35
401
原创 1017 乘积最大
1017 乘积最大 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold题目描述 Description今年是国际数学联盟确定的“2000——世界数学年”，又恰逢我国著名数学家华罗庚先生诞辰90周年。在华罗庚先生的家乡江苏金坛，组织了一场别开生面的数学智力竞赛的活动，你的一个好朋友XZ也有幸得以参加。活动中，主持人给所有参加活动的选手出了这样一道题目：
2015-07-22 14:55:46
332
原创 1154 能量项链
1154 能量项链 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold题目描述 Description在Mars星球上，每个Mars人都随身佩带着一串能量项链。在项链上有N颗能量珠。能量珠是一颗有头标记与尾标记的珠子，这些标记对应着某个正整数。并且，对于相邻的两颗珠子，前一颗珠子的尾标记一定等于后一颗珠子的头标记。因为只有这样，通过吸盘（吸盘是Mars人吸
2015-07-21 17:20:27
697
原创 2894 Txx考试
2894 Txx考试 时间限制: 1 s 空间限制: 32000 KB 题目等级 : 黄金 Gold题目描述 DescriptionTxx是一个成绩很差的人，考试便成了他的噩梦。于是他常在考试时睡觉以打发时间。今天他又要面临一次考试，为了保证有充足的睡眠，他决定只做k分钟题目。这次测试有n道题，第i题的得分是pi分，需要耗费ti分钟解决（将要完成也得不到分）。请你算出他最少扣多
2015-07-20 15:36:55
509
原创 1068 乌龟棋
1068 乌龟棋 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 钻石 Diamond题目描述 Description小明过生日的时候，爸爸送给他一副乌龟棋当作礼物。 乌龟棋的棋盘是一行N个格子，每个格子上一个分数（非负整数）。棋盘第1格是唯一 的起点，第N格是终点，游戏要求玩家控制一个乌龟棋子从起点出发走到终点。…… 1 2 3 4 5 ……N 乌龟棋中M张爬行
2015-07-20 14:55:41
556
原创 1102 采药
1102 采药 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold题目描述 Description辰辰是个天资聪颖的孩子，他的梦想是成为世界上最伟大的医师。为此，他想拜附近最有威望的医师为师。医师为了判断他的资质，给他出了一个难题。医师把他带到一个到处都是草药的山洞里对他说：“孩子，这个山洞里有一些不同的草药，采每一株都需要一些时间，每一株也有它自身
2015-07-19 14:42:07
570
原创 1014 装箱问题
1014 装箱问题 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold题目描述 Description有一个箱子容量为V（正整数，0＜＝V＜＝20000），同时有n个物品（0＜n＜＝30），每个物品有一个体积（正整数）。要求n个物品中，任取若干个装入箱内，使箱子的剩余空间为最小。输入描述 Input Description一个整数v，表示箱子容量
2015-07-19 14:03:49
450
原创 3027 线段覆盖2
3027 线段覆盖 2 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold题目描述 Description数轴上有n条线段，线段的两端都是整数坐标，坐标范围在0~1000000，每条线段有一个价值，请从n条线段中挑出若干条线段，使得这些线段两两不覆盖（端点可以重合）且线段价值之和最大。n<=1000输入描述 Input Description第一
2015-07-18 18:59:57
479
原创 3117 高精度练习之乘法
3117 高精度练习之乘法 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold题目描述 Description给出两个正整数A和B，计算A*B的值。保证A和B的位数不超过500位。输入描述 Input Description读入两个用空格隔开的正整数输出描述 Output Description输出A*B的值样例输入 Sample Inpu
2015-07-18 17:10:21
637
原创 3116 高精度练习之加法
3116 高精度练习之加法 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold题目描述 Description给出两个正整数A和B，计算A+B的值。保证A和B的位数不超过500位。输入描述 Input Description读入两个用空格隔开的正整数输出描述 Output Description输出A+B的值样例输入 Sample Inpu
2015-07-18 16:34:55
1007
原创 3162 抄书问题
162 抄书问题 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 钻石 Diamond 题解 查看运行结果题目描述 Description现在要把M本有顺序的书分给K个人复制（抄写），每一个人的抄写速度都一样，一本书不允许给两个（或以上）的人抄写，分给每一个人的书，必须是连续的，比如不能把第一、第三、第四本数给同一个人抄写。现在请你设计一种方案，使得复
2015-07-18 11:09:51
609
原创 1044 拦截导弹
1044 拦截导弹 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold 题解 查看运行结果题目描述 Description 某国为了防御敌国的导弹袭击，发展出一种导弹拦截系统。但是这种导弹拦截系统有一个缺陷：虽然它的第一发炮弹能够到达任意的高度，但是以后每一发炮弹都不能高于前一发的高度。某天，雷达捕捉到敌国的导弹来袭。由于该系统还在试用阶段，所以只
2015-07-18 08:38:03
483
原创 2963 卡片整理
#include#include#includeusing namespace std;int a[10010],n;void qs(int x,int y){ int mid = x + (y-x)/2; int i = x,j = y,key = a[mid]; a[mid] = a[x]; while(i < j) { while(i = key) j--;
2015-07-17 21:00:09
535
原创 1010 过河卒
#include#include#includeusing namespace std;int xb,yb,hx,hy;int f[16][16];bool cap[16][16]; //标识 占领点int dp(){ int i,j; cap[hx][hy] = 1; for(i = hx-2; i <= hx+2; i++) { for(j = hy-2;
2015-07-17 14:11:43
340
原创 1380 没有上司的舞会
#include#include#include#includeusing namespace std;int f[2][6010] , ch[6010][6010] , v[6010];int search(bool sel,int n){ if(f[sel][n]) return f[sel][n]; if(!ch[n][0]) return sel ?
2015-07-17 12:42:13
369
原创 1048 石子归并
#includeusing namespace std;int f[101][101] , w[101] , S[101];int main(){ int i,j,n,k; cin>>n; S[0] = 0; for(i = 1; i <= n; i++) { cin>>w[i]; f[i][i] = w[i]; S[i] = S[i-1] + w[i]; }
2015-07-17 09:33:30
364
原创 1576 最长严格上升子序列
#include#includeusing namespace std;int len[5001] , a[5001];int main(){ int i,j,n; int max; cin>>n; //注意输入不要漏啊 for(i = 1; i <= n; i++) { cin>>a
2015-07-16 21:16:31
312
原创 2188 最长上升子序列（temp）
#includeusing namespace std;int len1[200010] , len2[200010] , a[200010];int main(){ int i,n,j,k,max; cin>>n>>k; for(i = 1; i <= n; i++) { cin>>a[i]; len1[i] = 1; len2[i] = 1; } for(
2015-07-16 21:03:05
294
原创 1220 数字三角形（4解）
#include#includeusing namespace std;int f[100][100];int w[100][100];int main(){ int i,j,n; cin>>n; for(i = 1; i <= n; i++) { for(j = 1; j <= i; j++) { cin>>w[i][j]; } } for(j =
2015-07-15 21:09:29
671
原创 注意输入顺序
2631 解二元一次方程#includeusing namespace std;int main(){ int a1,a2,b1,b2,c1,c2; cin>>a1>>b1>>c1>>a2>>b2>>c2; int y = (c2*a1 - a2*c1) / (b2*a1 - a2*b1); cout<<"x="<<(c1 - b1*y) / a1<<endl; cout
2015-07-14 18:10:23
309
原创 关于void
#include#include#includeusing namespace std;long A[100010],n;long k1,k2;long sep(int x,int y,int k){ int mid = x + (y-x)/2; long i = x,j = y,key = A[mid]; A[mid] = A[x]; while(i < j) {
2015-07-14 13:23:06
377
空空如也
noip可以用的头文件大概有哪些
2015-07-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人