大数据MapReduce(Java实现)

一、MapReduce流程分析 Map的任务是将大任务转换成小任务,Reduce是汇总的意思 注意: 1、所有的输入和输出都是key-value类型,总共四对 2、key2 value2和key3 value3数据类型一致,value3是一个集合,集合中的每个元素是value2 k1 v...

2018-09-09 14:24:24

阅读数 404

评论数 0

大数据基础入门总结

一、 大数据的本质:     (1):数据的存储:分布式文件系统(多台机器进行分布式存储)     (2):数据的计算:分布式计算 也指的就是hadoop中的hdfs来解决大数据的存储问题,hdfs的结构是由一个管理员NameNode名称节点和多个DataNode组成的一个hdfs,搭建这个集群...

2018-09-09 13:53:28

阅读数 198

评论数 0

爬虫爬取股票信息

反爬虫的几种有效的方法: 1:伪装成浏览器的头部 什么意思呢?它的意思是因为很多网站会识别User-Agent这个参数,如果不更换报头的话,很容易就会知道这个不是人为的查看网页,因为不改User-Agent这个参数就会显示出屎python进行访问页面,一般网站都会进行限制 2:随机生成UA,...

2017-12-11 20:38:58

阅读数 754

评论数 0

Carmichael Numbers (快速幂 + 筛法)

#include #include #include long long int arr[65010]; void make(){ arr[1] = 1; memset(arr , 0 , sizeof(arr)); for(int i = 2 ; i < 65010 ; i++){ ...

2017-08-26 22:37:46

阅读数 135

评论数 0

Prime Gap(素数表+二分法)

点击打开链接 这道题目一开始做感觉挺难的,老是超过时间限制,后来用素数表+二分法过 #include #include using namespace std; #define MAXN 1299800 int arr[MAXN],a[MAXN]; int tot = 0; void ini...

2017-08-26 22:22:13

阅读数 186

评论数 0

畅通工程

点击打开链接 这道题求得是联通村庄间需要的最小的费用 首先呢,我认为村庄联通不能重叠,意思就是不能成环吧,就是父节点不能一样,接着是用prim算法解决 形成n - 1条边,sort排序 #include #include #include using namespace std; stru...

2017-08-26 15:12:57

阅读数 139

评论数 0

More is better&&The Suspects

这两道题非常相似,都是计算一个联通中所有节点的个数,只需要在find中加个计算就可以了 #include int parent[10000005]; int num[10000005]; int find(int x){ if(x != parent[x]) parent[x] = fin...

2017-08-26 15:09:47

阅读数 139

评论数 0

Farm Irrigation

这题为并查集的联通问题,主要找到能否联通Merge的条件就可以解决 #include #include #include using namespace std; int parent[2600]; struct student{ int up; int left; int down; ...

2017-08-26 15:04:26

阅读数 142

评论数 0

Find them, Catch them

该题为种类并查集 #include #include using namespace std; #define N 112345 int pre[N]; int Find(int x) { if(x!=pre[x]) pre[x]=Find(pre[x]); ...

2017-08-26 15:03:03

阅读数 155

评论数 0

01背包,完全背包,多重背包

01背包:有N件物品和一个容量为V的背包,每种物品均只有一件。第i件物品的费用是c[i],价值为V[i]。求解将哪些物品装入装入背包可使价值总和最大 完全背包:有N种物品和一个容量为V的背包,每种物品都可以无限件的使用,第i种物品的费用是c[i],价值是w[i]。求解将哪些物品装入背包可使这些物...

2017-08-24 17:17:26

阅读数 158

评论数 0

Common Subsequence(相同字符的总数dp)

点击打开链接 #include #include #include int m[1005][1005]; int max(int a,int b){ int max; max = a >= b ? a : b; return max; } int main(){ int lengt...

2017-08-24 16:03:12

阅读数 136

评论数 0

递增数列最长(dp)

题目:点击打开链接 #include #include #include using namespace std; int main(){ int n,temp,max1; int a[1010],d[1010]; while(~scanf("%d",&n)){...

2017-08-24 15:42:33

阅读数 187

评论数 0

数塔(dp)

题目:点击打开链接 #include #include #include using namespace std; int main(){ int T,n; int a[105][105],aux[105][105]; while(~scanf("%d",&T)...

2017-08-24 14:59:46

阅读数 125

评论数 0

快速排序,归并排序

#include void _partition(int arr[],int l,int mid,int r){ //归并的核心代码 int aux[r - l + 1];//辅助的数组,演示的下面的示例 //aux的赋值,aux是冲0开始的,但是arr不是从0开始的,因为递归传上来的数...

2017-07-18 22:36:13

阅读数 143

评论数 0

n*n基础排序算法

基础的排序算法(选择排序,插入排序)与希尔排序 基础(o(n * n))时间复杂度的算法: 优点 1:编码简单,易于实现,是一些简单情景首选 2:可以利用基础算法衍生出复杂的排序算法 选择排序 主要是每一次找最小即可,每次从后一位找出最小的再交换位置即可 核心代码 #include...

2017-07-18 22:32:15

阅读数 275

评论数 0

发表的第一个程序

#include //该函数是归并排序的核心代码 void _merge(int arr[],int l,int mid,int r){ int aux[r - l + 1];//开辟辅助区间 for(int i = l ; i <= r ; i++){ //将arr中所有内容赋值到au...

2017-07-13 12:36:22

阅读数 145

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭