柯南爱上指针的博客

javaweb学习心得

openpose环境搭建(全教程)

目录 一、Ubuntu的安装 制作启动盘 装机 二、安装nvidia显卡驱动 第一步 获取显卡型号 第二步 去NVDIA driver search page查看支持 GTX1080ti 显卡的驱动的最新版本的版本号 第三步 查询支持GTX1080ti显卡的显卡驱动的其他驱动版本 ...

2018-08-08 19:38:50

阅读数 4007

评论数 1

大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例

目录 1 大数据处理的常用方法 2 生产场景与需求 3 数据采集:获取原生数据 4 数据清洗:将不规整数据转化为规整数据 4.1 数据清洗目的 4.2 数据清洗方案 4.3 数据清洗过程:MapReduce程序编写 4.4 数据清洗结果 5 数据处理:对规整数据进行统计分析 5...

2018-08-03 13:10:36

阅读数 592

评论数 1

Map输入切片和记录的过程

        MapReduce在执行map()函数之前,还做了大量的工作,例如数据的切片,将切片生成键值对传给map()函数等等,在执行map()之前做了很多的事情,今天就记录一下输入数据的切片和记录。(tips:由于也是刚刚学,看了权威指南,分享一下心得,有什么问题希望大家指正)    1、...

2018-06-14 22:11:57

阅读数 180

评论数 0

MapReduce中shuffle和排序(转)

我觉得这篇博客写的很好,hadoop权威指南没有讲清楚的、没看懂的这个上面都讲的很详细,收藏一下!点击打开原文MapReduce简介在Hadoop MapReduce中,框架会确保reduce收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收,是一个很复杂的过程,框架处...

2018-06-12 19:19:51

阅读数 500

评论数 0

hbase完全分布式环境搭建

1、环境准备 linux系统:centos6.6 java环境: jdk1.8.0_144 hadoop环境:hadoop-2.4.1 zookeeper环境:zookeeper-3.4.6 如果有环境准备问题,请参考下面文章 linux环境:点击打开链接 hadoop搭建:点击打开...

2017-10-31 19:41:55

阅读数 2430

评论数 0

windows可以ping通linux虚拟机的ip,但是ping不通主机名称

linux虚拟机能ping通windows主机,windows主机ping不通linux虚拟机的解决办法

2017-10-30 15:22:10

阅读数 2245

评论数 0

Cannot create encoder for Option of Product type, because Product type is represented as a row

点我查看原文 使用sparksql会遇到下面错误: Cannot create encoder for Option of Product type, because Product type is represented as a row, and the entire row can n...

2019-02-28 11:32:14

阅读数 96

评论数 0

scala高阶函数练习题

/** 练习题目1 * 编写函数values(fun:(Int)=>Int,low:Int,hight:Int) * * 该函数输出一个集合,对应给定区间内给定的给定函数的输入和输出,R比如values(x=>x*x,-5,5) * 应...

2019-01-30 16:24:13

阅读数 37

评论数 1

scala 主构造函数和辅助构造函数

package scala.day01 import scala.beans.BeanProperty /** * 注意:@BeanProperty会生成四个方法 * name:String * name_ = (new Value:String):Unit * getName...

2019-01-30 16:05:25

阅读数 149

评论数 0

storm定时任务使用实例

作者:剪刀手麦小孩  来源:CSDN  原文:https://blog.csdn.net/maixiaohai/article/details/51685581 版权声明:本文为博主原创文章,转载请附上博文链接! ---------------------  1.背景 需要在bolt中定...

2019-01-17 19:44:24

阅读数 30

评论数 0

maven项目dependences全是红色波浪线

首先交代一下背景 环境 OS--macos idea--2018.3 jdk--1.8 maven--3.6 起因 clone一个项目,所有的dependences都是红线!!!编译不通过!!!(如下图) 开始以为是代码冲突,但是别人的却不冲突,排除!怀疑是环境问题。然后,删除ma...

2019-01-14 22:21:46

阅读数 186

评论数 0

DSP、SSP、RTB的理解--计算广告

作者:炸乌鸦面 链接:https://www.zhihu.com/question/23458646/answer/130631448 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 进入了广告的行业,开始了解业务,计算广告看的一头雾水,这个写的很通俗,收藏一下...

2019-01-02 15:25:44

阅读数 90

评论数 0

网易杭研大数据面试题

一面: hdfs读写过程 MR原理 讲项目 balabala... 差不多40几分钟吧 二面: 讲项目,项目一个点一个点的问。 主要讲的是PV、UV的统计、其中设计到rowkey冲突怎么处理。 接着讲项目balabala 差不多40多分钟吧 HR面(一个男面试官): 自我介绍...

2018-11-21 21:33:09

阅读数 68

评论数 0

一点资讯大数据面试题

本人错过了秋招,到了十一月,疯狂的投补招。。。。好多公司简历都挂了 十一月九日电话面试,十一月十二日北京现场面试。 电话一面: 1、自我介绍 hdfs架构、原理 2、MR原理 3、执行MR的过程中,使用了哪些函数? 4、shuffer版本迭代的过程中更新了什么? 5、kafka原理,从生产者生...

2018-11-21 20:50:54

阅读数 3685

评论数 12

剑指Offer之对称二叉树

题目描述 请实现一个函数,用来判断一颗二叉树是不是对称的。注意,如果一个二叉树同此二叉树的镜像是同样的,定义其为对称的。例如图4.3中,第一二棵树是对称的,第三棵不是对称的。 解题思路:1、可以构造出这个树的镜像,然后遍历这个树的镜像和这原来这颗树,如果是一样的话,说明是对称二叉树。 2...

2018-11-06 23:55:36

阅读数 27

评论数 0

剑指Offer之二叉树的镜像

题目描述 操作给定的二叉树,将其变换为源二叉树的镜像。 输入描述: 二叉树的镜像定义:源二叉树 8 / \ 6 10 / \ / \ 5 7 9 11 镜像二叉树 8 ...

2018-11-06 22:12:15

阅读数 36

评论数 0

剑指Offer之二叉树的镜像

题目描述 操作给定的二叉树,将其变换为源二叉树的镜像。 输入描述: 二叉树的镜像定义:源二叉树 8 / \ 6 10 / \ / \ 5 7 9 11 镜像二叉树 8 ...

2018-11-06 22:04:46

阅读数 46

评论数 0

剑指Offer之调整数组顺序使奇数位于偶数前面

题目描述 输入一个整数数组,实现一个函数来调整该数组中数字的顺序,使得所有的奇数位于数组的前半部分,所有的偶数位于数组的后半部分,并保证奇数和奇数,偶数和偶数之间的相对位置不变。 解题思路:        第一种:首先,说一种时间复杂度为O(n),但是空间复杂度较高的。但是这种代码,肯定不会是...

2018-11-06 14:30:23

阅读数 51

评论数 0

ubuntu16.04下的apt-get内网光盘源(CD/DVD)的搭建以及局域网服务器源的搭建

目录 ubuntu16.04下的apt-get内网CD源的搭建 ubuntu16.04下的apt-get内网CD源的使用(虚拟机) 一、光驱的挂载 二、使用CD/DVD源 三、使用完了,解除挂载 ubuntu16.04下的apt-get内网使用apache2服务器作为局域网的源(基于平...

2018-11-06 12:00:17

阅读数 364

评论数 0

Ucloud大数据面试题(二面凉凉)

ucloud一面: 0、问项目 1、java如何查看内存溢出(jvm\jps\jconsole\jmap等工具),程序出现故障了怎 么查看哪儿出现了错误 2、linux下,调用shell脚本后,如何判断脚本是否正常启动。  使用netstat查看 3、线程和进程的区别 4、说一下二叉排序树的定义 ...

2018-10-31 14:16:02

阅读数 346

评论数 3

提示
确定要删除当前文章?
取消 删除
关闭
关闭