- 博客(34)
- 收藏
- 关注
RSS订阅原创 Netty源码解析-EventLoop-DefaultEventLoop启动过程
Netty源码解析-EventLoop-DefaultEventLoop启动过程DefaultEventLoop继承关系DefaultEventLoop初始化DefaultEventLoop提交任务Netty version : 4.1.53.Final有任何错误或者建议可以留言交流，谢谢DefaultEventLoopDefaultEventLoop是EventLoop的一个最简单实现，为方便更好理解后面NioEventLoop做准备。继承关系DefaultEventLoop初始化从ne
2020-11-19 22:09:51
508
原创 ipfs-cluster集群搭建
1.搭建私有ipfs集群（网上有很多教程）2.下载ipfs-cluser-server、ipfs-cluster-clt 地址：https://dist.ipfs.io/#ipfs-cluster-service（t同样需要翻墙）3 下载解压后运行如下命令即可启动 ipfs-cluster-server daemon后面直接复制的官网的步骤，注意点是：私有集群搭...
2019-11-11 23:15:02
1604
原创 IPFS集群搭建（一）
一.ipfs安装1.下载go-ipfs :https://dist.ipfs.io/#go-ipfs(需要翻墙)2.执行如下指令$ tar xvfz go-ipfs.tar.gz$ cd go-ipfs$ ./install.sh3.验证$ ipfs helpUSAGE: ipfs - Global p2p merkle-dag filesystem.....
2019-11-11 23:00:16
3498
3
原创 数据算法 （MapReduce步骤）
//1.设置输入文件PathPath inputPath = new Path(args[0]);//2.设置输入文件FileInputFormat.setInputPaths(job, inputPath);//3.设置输入文件格式job.setInputFormatClass(SequenceFileInputFormat.class);//4.设置mapjob.setMappe...
2018-08-10 14:35:23
290
原创 数据算法（TopN） :Spark+Spark(takeOrdered)实现（非键唯一情况）
package cn.weida.Spark.TopNNonUnique;import java.util.Collections;import java.util.Iterator;import java.util.List;import java.util.Map;import java.util.SortedMap;import java.util.TreeMap;imp...
2018-08-09 13:35:18
811
原创 数据算法（TopN） :MapReduce+Spark(java)实现（键唯一情况）
MapReduce实现Driver类package cn.weida.MapReduce.ToN;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io...
2018-08-09 11:19:09
827
原创 MapReduce运行过程略解
1，input --------> 2.map (map包括后面的sort,和combine）------------>3.sort------------------------------------>4.combine ------------------- split ...
2018-08-08 11:22:45
131
原创 数据算法 （二次排序）：Spark+Scala语言实现
之前用到的是MapReduce 解决二次排序问题，另一种实现方式是利用Spark实现，就简单多了我们考虑如下数据：y,2,5x,1,3y,1,7y,1,1y,3,1x,3,6z,1,4z,2,8z,3,7z,4,0p,2,6p,4,7p,1,9p,6,0p,7,3我们希望最终结果是这样 ：首先按字母排序，然后按第一个数字，最后按第三个数字排序imp...
2018-08-07 09:13:27
359
原创 Spark学习（三）：键值对RDD操作
键值对RDD(pairRDD)是Spark中许多操作所需要的常见数据类型。1，创建pairRDD在Spark中有许多创建pairRDD的方式，很多存储键值对的数据格式会在读取时直接返回由其键值对数据组成的pairRDD。此外当需要把一个普通RDD转换为pairRDD时，可以调用map()函数。简单的创建方式如下：scala> val lines = sc.parallelize...
2018-08-06 11:51:51
1196
原创 Spark学习（二） ： 常见RDD操作
首先是任何数据类型都支持的操作：1，针对各个元素的转化操作(1) map() 和 filter()map() :接受一个函数，把函数用于RDD中的每个元素，将函数的返回结果作为结果RDD中对应元素的值。scala> val input = sc.parallelize(List(1,2,3,4))input: org.apache.spark.rdd.RDD[Int] =...
2018-08-05 11:10:19
358
原创 数据算法（二次排序）：对温度数据排序
二次排序针对归约阶段对与某个键关联的值排序 MapReduce 框架会自动对映射器生成的键完成排序，在启动归约器之前，映射器生成的中间键-值对必然时按键有序的，值不是有序的。 如下例子：考虑一个可惜实验得到的温度数据。包括year,month,day 和当天温度temperature 2012,01,01,5 2000,12,04,10 2000,11,01,20 200...
2018-08-03 16:31:47
1618
原创 Spark学习（一）：Spark独立应用
Spark是一个用来实现快速而通用的集群计算的平台。包括Spark Sql ,Spark Steaming ,MLlib,GraphX,集群管理器等等。每个Spark应用都有一个驱动器程序来发起集群上的各种并行操作，同时，通过SparkContext对象来访问Spark.创建一个独立的Spark应用，首先初始化SparkContext 如下：（java版本）SparkConf con...
2018-08-02 15:22:15
741
原创 大数据学习（六）：序列化
package cn.weida.hadoop.Writable;import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.io.DataInputStream;import java.io.DataOutputStream;import java.io.IOExceptio...
2018-07-24 20:20:27
744
原创 大数据学习（五）：在MapReduce中使用压缩
要想压缩MapReduec作业的输出，应在作业配置过程中将mapreduce.output.fileOutputformat.compress属性设置为true,将，apre-duce.output.fileoutputformat.compress.codec属性设置为打算压缩的压缩coec的类名。另一种方案是在FileOutputFormat中使用更便捷的方法设置这些属性。packag...
2018-07-23 20:17:15
700
原创 大数据学习（四）：HDFS 的I/O操作
压缩文件Hadoop 压缩文件有很多方法 通常各个工具提供权衡空间/时间 从 -1 优化压缩速度 ~9 优化压缩空间如通过最快压缩方法 gzip -1 file 最小占用空间 gzip -9 filecodec补充： 在考虑如何将由MapReduce处理的数据时，理解这些压缩格式是否支持切分(splitting) 是非常重要的。不支持切分的压缩格式在用MapReduce...
2018-07-23 19:19:32
296
原创 大数据学习（三） ：Java对Hadoop文件操作 初步
通过URL访问hadoop是可行的，如：package cn.weida.hadoop.read;import java.io.IOException;import java.io.InputStream;import java.net.URL;import java.net.URLStreamHandlerFactory;import org.apache.hadoop.fs....
2018-07-21 11:50:33
711
原创 大数据学习（二）： MapReduce 初步
实现map类有两种方法一 ：继承MapReduceBase 实现Mapper接口package cn.weida.hadoop.read;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.ap...
2018-07-21 10:44:17
370
转载 大数据学习(一):hadoop伪分布搭建
现在大二结束，大二下学期选修了一门大数据课程，本来是为素拓学分而选的（哈哈）,不过数据就留在了大数据实验室开始了大数据学习，好好加油。 我使用的是Ubuntu 18.04环境下搭建Hadoop 2.9.1 ,之前在书上找到了一个网站（厦门大学大数据研究院运营的），网站是: http://dblab.xmu.edu.cn , 其中有一个是讲在ubuntu 14.04 上搭建Hadoop 2.7...
2018-07-16 13:47:20
256
原创 mysql 学习小结
3,以管理员身份运行cmd 才能有权限启动mysql服务器 创建数据库指令：CREATE DATABASE datebase_name; 显示服务器下所有数据库 ：SHOW DATABASES; 显示某个数据库信息：SHOW CREATE DATABASE database_name \G; 删除数据库（数据库无提示如无备份且无法恢复）：DROP DATABASE database_nam...
2018-04-27 00:11:05
462
1
原创 mysql 常用数学函数
函数失败 返回nullBIN(X)函数 :返回X的二进制lenth(x) 返回数所占空间长度ABS(X) :绝对值函数PI() :数π的值SQRT(X):开平方函数 x<0 return nullMOD(a,b):求余函数 a%b 可返回小数CEIL(x) :取整函数 向上取整CEILING(X):取整函数 向上取整LOOR(X) :向下取整获取随机数：RAND() 0~1 RAND(...
2018-04-27 00:09:57
1253
原创 java线程学习
程序 program 一段代码（指令集） 静态进程 process 操作系统调度程序 为程序运行而分配独立的资源 线程 thread在进程内有多条执行道路 资源共享一个CPU 通过不断调度 实现虚拟的多个线程同时运行例如 eclipse运行是线程组有 main gc Exception 等线程 互不干扰package cn.weida.thread.create;/** * 模拟龟兔...
2018-02-08 18:42:14
158
原创 java学习笔记2
collection 容器 接口set 不能重复 无序 list 可重复 有序 hashMap - >map 通过对象找对象迭代器 遍历容器link ArraryList 线程不安全 效率高 底层实现是数组 查询，块 加入 删除慢LinkList 线程不安全 效率高 底层实现是链表 查询慢 加入 删除块Vector 线程安全
2018-02-07 15:55:10
159
原创 java学习 笔记
jdk7.0 判断表达式可以是string形 ：string s=new string("xxx") switch(s) { case "xxx":break; }带标签break和cont;nue 在前面添加标签outer : / / continue outer: / break outer: 和goto类似 但
2018-02-07 15:53:40
152
原创 关闭流 工具类
package cn.weida.io.others;import java.io.Closeable;import java.io.IOException;public class fileCloseUtils { /** * 工具关闭类 * 可变参数 形参最后 * *fileCloseUtils.close(i,s,x); *
2018-02-07 15:51:20
756
原创 文件切割与拷贝
package cn.weida.io.File;import java.awt.event.FocusEvent;import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.File;import java.io.FileInputStream;import j
2018-02-07 15:49:06
167
原创 Java 实现文件拷贝
package cn.weida.io.File;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.I
2018-02-06 22:35:46
234
转载 优先级队列
C++优先队列的基本使用方法 #include#include#includeusing namespace std;struct node{ friend bool operator { return n1.priority "为从小打到排列 } int priority; int value
2017-08-15 15:41:35
171
转载 c++ 优先级队列输出最小值
库函数优先级队列(priority_queue)输出最小值 代码本文地址: http://blog.csdn.NET/caroline_wendy库函数优先级队列(priority_queue)的实现方式是堆(heap), 默认是输出最大值.最大堆输出最小值, 需要指定参数, priority_queue, greater > 最小堆
2017-08-15 15:39:18
1972
原创 最小生成树
#includeusing namespace std;static const int MAX=100;static const int INFTY=(1static const int WHITE=0;static const int GRAY=1;static const int BLACK=2;int n,M[MAX][MAX];int prim() {
2017-08-08 16:57:28
216
原创 Disjoint Set, 互质集合
Disjoint Set,（一个元素不同时属于多个集合）。这里用森林结构代表集合集，树代表集合，根元素为代表元素 用rank数组记录数高。FIndSet(x) 求包含元素晓得集合的代表元素，在树中，查找x,后返回代表元素，同时压缩路径，将x，到根的所有节点指向根节点。降低搜索时间。unite（x,y) 将树x,y合并。将树高度低的加到树高的集合，使高度低的集合根节点指向高度高
2017-08-08 15:40:23
821
原创 树的重建
#include#include#include#includeusing namespace std;vector pre,in,post;int n,pos;void rec(int l,int r) {if (l>=r) return ;int root=pre[pos++];
2017-07-27 15:51:06
249
原创 二分
#includeint mon[100005];int main() {int n,m,sum,maxn,i;while (scanf ("%d %d",&n,&m)!=EOF) {sum=0;maxn=0;for (i=0; iscanf ("%d",&mon[i]);sum+=mon[i];if (mon[i]>maxn) maxn=mon[i];}
2017-07-27 09:17:32
190
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人