Spark的map和flatmap的区别

最近学习spark,然后遇到了这么一个题,有如下数据: http://bigdata.edu360.cn/laozhang http://bigdata.edu360.cn/laoduan http://javaee.edu360.cn/xiaoxu 要统计最受欢迎的老师,然后我就试了一下map...

2019-04-09 14:57:29

阅读数 24

评论数 0

毕业论文调格式之页码,页眉页脚,目录页码右对齐

前言 相信大家在毕业季的时候为了调文章的格式有苦恼过吧。下面给大家带来一些我最近搜到的、或者总结到的一些关于页眉页脚,页码和目录的一些链接和心得。 调整页眉页脚 https://jingyan.baidu.com/article/d2b1d1026cb7d65c7f37d46f.html 如果没调...

2019-04-01 10:11:25

阅读数 24

评论数 0

Latex中插入用origin绘画的两条坐标轴,双x轴或者双y轴拥有不同刻度的图片

先上效果图,如果所示,上面x轴的刻度从20-30,下面x轴的刻度从0-6,这样就达到了上下两条x轴显示不同刻度的目的。 下面我们说一下怎么做到的,其实比较简单,通过添加一层图层,就可以做到了,也就是说上方的x周和下方的x轴不在一个图层,所以它们各自变化刻度的时候互相没有影响。 至于右边的y...

2019-03-26 10:14:16

阅读数 520

评论数 4

标量、向量、矩阵求导(两种布局方式)

问题引入 首先以一个网上很多博文引用的例子来开篇,例子见下图 问题初试 在了解向量和向量求导的时候,我看过以下一些公式: 首先Ax是个m维的列向量,它对x求偏导是个列向量对列向量求偏导的格式,所以可以套用上述公式(10),那么得到的是: 那么就转换成了标量对向量的求偏导的形式了,可以套用上...

2019-01-11 14:00:00

阅读数 172

评论数 2

idea用maven3.6.0下载源码失败(ubuntu环境下)

今天在代码里面想看看jama包下部分代码,但是点击Download Sources提示在idea环境下不行,提示Cannot download sources Sources not found for:XXX.jar 我用的maven版本是3.6.0,后来上网查了一些资料,发现可能是maven...

2019-01-09 11:03:18

阅读数 227

评论数 0

AbstractQueuedSynchronizer(aqs)中acquireShared和releaseShared的理解

上一篇我们看了aqs中独占模式下acquire和release的代码(https://blog.csdn.net/a6822342/article/details/84839391)。下面我们来看看共享模式下的acquireShared和releaseShared的代码。 首先先看acquire...

2018-12-07 15:30:09

阅读数 73

评论数 0

AbstractQueuedSynchronizer(aqs)中acquire和release的理解

Aqs有两种模式,一种独占模式,一种共享模式,他们获取资源的方法分别对应 acquire-release、acquireShared-releaseShared(见此博文 https://blog.csdn.net/a6822342/article/details/84875304)   这...

2018-12-05 17:04:23

阅读数 78

评论数 0

错误:Unable to initialize MapOutputCollector的解决办法

我是因为把我自己定义的bean当成key从map端传到reduce端了,但是我没有针对实现的WritableComparable接口,而是实现的Writable和Comparable接口(讲道理WritableComparable接口也是对这两个接口做了整合,为什么我分别实现就不行呢?),然后报了...

2018-10-28 23:22:44

阅读数 281

评论数 0

从一个例子来看java类的初始化过程

我从网上找了一下例子,然后把它放在idea里面debug,它的大体顺序是这样的 首先是类的静态方法,再是类的静态变量,然后是创建静态对象,创建静态对象的时候,首先是非静态的成员,(但是在这里它因为后面的静态变量还没初始化,所以创建静态对象的时候,它不对里面的非静态变量进行初始化),非静态语句块的...

2018-10-06 14:26:16

阅读数 73

评论数 0

windows搭建hadoop源码阅读(debug)环境

之前自己有搭过一次,不过是在ubuntu上弄的,然后这次想在windows上弄一个源码阅读环境,说干就干,网上找了一些资料,然后结合自己的情况弄了一套,下面是步骤: 一.下载hadoop的安装包,将其解压缩,然后下载winutils.exe和hadoop.dll将其放在hadoop的bin目录下...

2018-09-28 19:29:37

阅读数 278

评论数 0

Hbase的flush以及compaction的一些理解

  最近自己看了一些关于flush和compaction的博客,其中也有一些总结和感悟,于是想写下来,以供后续参考,如果有理解的不对的地方,我们可以一起讨论~ 什么是Flush和Compaction?它们是在什么情况下进行的呢?他们的作用是什么? Flush我理解的就是将memstore中缓存...

2018-09-20 14:28:34

阅读数 246

评论数 0

Python连接Hive(基于impyla)

如何安装impyla请看我这篇博文:https://blog.csdn.net/a6822342/article/details/80841056以下是我的一些包的版本thirftpy 0.3.9thirft-sasl 0.2.0thirft 0.11.0sasl 0.2.1pure-sasl 0...

2018-06-28 15:43:12

阅读数 5352

评论数 0

error: Unable to find vcvarsall.bat解决办法

我在windows上安装impyla的时候报错然后上网搜了一些资料,有说直接安装whl文件的(失败),有说安装vs的(太大了),有说安装单独的开发工具集(vc++),下面我采用的就是安装vc++,它的下载网址和说明如下:https://blogs.msdn.microsoft.com/vcblog...

2018-06-28 14:52:24

阅读数 7241

评论数 2

Python连接Hive(基于PyHive)

要想使用python连接hive,首先得下载以下几个包:   pip install sasl pip install thrift pip install thrift-sasl pip install PyHive   但是我们在安装sasl的时候可能会报错,导致安装不上,这个时候就...

2018-06-16 16:34:30

阅读数 15812

评论数 18

hive的客户端操作(jdbc链接)

最近在学习hive,今天学到hive的远程连接,以下是我在学习过程中遇到的一些问题,和大家分享一下:首先,你如果要使用hive的远程连接,你得先开启hive的远程服务:之前我看视频以及一些资料上写的是在命令行输入:hive --service hiveserver 这个命令是基于0.10的版本(好...

2018-06-14 20:48:39

阅读数 1674

评论数 0

Latex中插入多张图片,实现并排排列或者多行多列排列

最近需要用latex插入多张图片,达到这么一个效果。 但是我原来只插入过一张图片(图片内容来源于网络;是国漫一人之下的宝儿姐。强推这部国漫~),代码如下,效果如图: \begin{figure} \centering \includegraphics[height=4.5cm,width...

2018-06-01 09:50:35

阅读数 54821

评论数 21

Origin中画折线图实现双X轴和双Y轴(双坐标轴)

近段时间用Originpro画图,感觉还是比较容易上手的,但是画出来的图一般是单边坐标轴,和一些论文里面的图还是有区别的,如下图: 而论文中的一般是这种: 那么这种应该怎么去通过第一张图去实现呢?其实很简单,只要点击对应的坐标轴,然后会出来一个对话框,我们再对其中的一些属性进行勾选...

2018-05-24 18:51:31

阅读数 8716

评论数 2

Java中用Mybatis插入mysql报主键重复问题的解决方法

首先思路是这样的,先去数据表里面去找有没有这个主键的数据(如果有会有返回值,如果没有则返回null),如果有则对该条数据进行更新操作,如果没有,则对数据表进行插入操作。原来数据表中有这些数据。数据表对应的bean的结构如下:public class DataBean { String ke...

2018-05-08 20:47:43

阅读数 3027

评论数 0

Hadoop MR程序的几种提交模式

一.问题来源为什么我们在windows下用编程集成工具或者linux下用编程集成工具来run我们编写的mr程序的时候是在本地jvm中运行,而我们在linux上用命令行:hadoop jar 提交我们的jar文件的时候就提交到集群去运行了呢?具体原因是:如果是RunJar中包含了和RM通信的rpc客...

2018-04-26 15:40:30

阅读数 674

评论数 0

Hadoop中yarn的概念和Yarn框架的大体工作流程

一.Yarn的组成Resource manager(RM),node manager(NM)。二.Yarn的目的Yarn是负责集群的资源调度。 三.我们提交jar包的时候应用的命令是:hadoop jar jar包 主类地址。然后我们的配置job运行时的一些参数的时候,有这么一句代码:job.wa...

2018-04-26 11:30:32

阅读数 466

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭