柯南爱上指针的博客

javaweb学习心得

openpose环境搭建(全教程)

目录 一、Ubuntu的安装 制作启动盘 装机 二、安装nvidia显卡驱动 第一步 获取显卡型号 第二步 去NVDIA driver search page查看支持 GTX1080ti 显卡的驱动的最新版本的版本号 第三步 查询支持GTX1080ti显卡的显卡驱动的其他驱动版本 ...

2018-08-08 19:38:50

阅读数:577

评论数:0

大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例

目录 1 大数据处理的常用方法 2 生产场景与需求 3 数据采集:获取原生数据 4 数据清洗:将不规整数据转化为规整数据 4.1 数据清洗目的 4.2 数据清洗方案 4.3 数据清洗过程:MapReduce程序编写 4.4 数据清洗结果 5 数据处理:对规整数据进行统计分析 5...

2018-08-03 13:10:36

阅读数:214

评论数:1

Map输入切片和记录的过程

        MapReduce在执行map()函数之前,还做了大量的工作,例如数据的切片,将切片生成键值对传给map()函数等等,在执行map()之前做了很多的事情,今天就记录一下输入数据的切片和记录。(tips:由于也是刚刚学,看了权威指南,分享一下心得,有什么问题希望大家指正)    1、...

2018-06-14 22:11:57

阅读数:105

评论数:0

MapReduce中shuffle和排序(转)

我觉得这篇博客写的很好,hadoop权威指南没有讲清楚的、没看懂的这个上面都讲的很详细,收藏一下!点击打开原文MapReduce简介在Hadoop MapReduce中,框架会确保reduce收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收,是一个很复杂的过程,框架处...

2018-06-12 19:19:51

阅读数:102

评论数:0

hbase完全分布式环境搭建

1、环境准备 linux系统:centos6.6 java环境: jdk1.8.0_144 hadoop环境:hadoop-2.4.1 zookeeper环境:zookeeper-3.4.6 如果有环境准备问题,请参考下面文章 linux环境:点击打开链接 hadoop搭建:点击打开...

2017-10-31 19:41:55

阅读数:2032

评论数:0

windows可以ping通linux虚拟机的ip,但是ping不通主机名称

linux虚拟机能ping通windows主机,windows主机ping不通linux虚拟机的解决办法

2017-10-30 15:22:10

阅读数:1523

评论数:0

网易杭研大数据面试题

一面: hdfs读写过程 MR原理 讲项目 balabala... 差不多40几分钟吧 二面: 讲项目,项目一个点一个点的问。 主要讲的是PV、UV的统计、其中设计到rowkey冲突怎么处理。 接着讲项目balabala 差不多40多分钟吧 HR面(一个男面试官): 自我介绍...

2018-11-21 21:33:09

阅读数:27

评论数:0

一点资讯大数据面试题

本人错过了秋招,到了十一月,疯狂的投补招。。。。好多公司简历都挂了 十一月九日电话面试,十一月十二日北京现场面试。 电话一面: 1、自我介绍 hdfs架构、原理 2、MR原理 3、执行MR的过程中,使用了哪些函数? 4、shuffer版本迭代的过程中更新了什么? 5、kafka原理,从生产者生...

2018-11-21 20:50:54

阅读数:1879

评论数:8

剑指Offer之对称二叉树

题目描述 请实现一个函数,用来判断一颗二叉树是不是对称的。注意,如果一个二叉树同此二叉树的镜像是同样的,定义其为对称的。例如图4.3中,第一二棵树是对称的,第三棵不是对称的。 解题思路:1、可以构造出这个树的镜像,然后遍历这个树的镜像和这原来这颗树,如果是一样的话,说明是对称二叉树。 2...

2018-11-06 23:55:36

阅读数:11

评论数:0

剑指Offer之二叉树的镜像

题目描述 操作给定的二叉树,将其变换为源二叉树的镜像。 输入描述: 二叉树的镜像定义:源二叉树 8 / \ 6 10 / \ / \ 5 7 9 11 镜像二叉树 8 ...

2018-11-06 22:12:15

阅读数:24

评论数:0

剑指Offer之二叉树的镜像

题目描述 操作给定的二叉树,将其变换为源二叉树的镜像。 输入描述: 二叉树的镜像定义:源二叉树 8 / \ 6 10 / \ / \ 5 7 9 11 镜像二叉树 8 ...

2018-11-06 22:04:46

阅读数:36

评论数:0

剑指Offer之调整数组顺序使奇数位于偶数前面

题目描述 输入一个整数数组,实现一个函数来调整该数组中数字的顺序,使得所有的奇数位于数组的前半部分,所有的偶数位于数组的后半部分,并保证奇数和奇数,偶数和偶数之间的相对位置不变。 解题思路:        第一种:首先,说一种时间复杂度为O(n),但是空间复杂度较高的。但是这种代码,肯定不会是...

2018-11-06 14:30:23

阅读数:40

评论数:0

ubuntu16.04下的apt-get内网光盘源(CD/DVD)的搭建以及局域网服务器源的搭建

目录 ubuntu16.04下的apt-get内网CD源的搭建 ubuntu16.04下的apt-get内网CD源的使用(虚拟机) 一、光驱的挂载 二、使用CD/DVD源 三、使用完了,解除挂载 ubuntu16.04下的apt-get内网使用apache2服务器作为局域网的源(基于平...

2018-11-06 12:00:17

阅读数:58

评论数:0

Ucloud大数据面试题(二面凉凉)

ucloud一面: 0、问项目 1、java如何查看内存溢出(jvm\jps\jconsole\jmap等工具),程序出现故障了怎 么查看哪儿出现了错误 2、linux下,调用shell脚本后,如何判断脚本是否正常启动。  使用netstat查看 3、线程和进程的区别 4、说一下二叉排序树的定义 ...

2018-10-31 14:16:02

阅读数:162

评论数:3

基于人工智能的视频运动比对分析教学平台

留一个纪念,有时间把这个项目结构画一下hhh! 由此进->第七届软件杯题目:基于人工智能的视频运动比对分析教学平台 由此进->演示视频

2018-09-09 23:29:46

阅读数:94

评论数:0

Ubuntu下搭建Nginx服务器+集成RTMP视频直播流处理(边做边做更新)

简介: 要求:做一个网页获取摄像头的视频流,然后将视频流经过流服务器推送到后台视频处理服务器,再由后台视频处理服务器推送到流服务器,最终推送到页面。如图: 经过查阅资料,目前有red5以及nginx+nginx-rtmp-module实现,选择第二种方式来实现。 准备工作: 第一步:准...

2018-09-09 23:22:30

阅读数:71

评论数:0

storm整合kafka过程中解决log4j冲突问题(Could not initialize class org.apache.log4j.Log4jLoggerFactory)

1、在storm整合kafka后,运行storm程序,报错如下: 12:47:09.110 [Thread-26-kafkaspout-executor[3 4]] ERROR org.apache.storm.util - Async loop died! java.lang.NoClass...

2018-08-08 12:53:59

阅读数:196

评论数:0

返回进程线程信息工具类

说明: 用于集群的不同的机器,将console打印到一个机器上去。 返回主机名+当前进程id+线程信息+对象信息 package cn.hbmy.stormwordcountdemo.utils; import java.io.OutputStream; import java.lang...

2018-08-07 20:54:56

阅读数:22

评论数:0

kafka的分布式安装

0、选择mini1、mini2、mini3三台主机安装kafka,以及kafka的安装包   kafka_2.11-0.10.0.1.tgz 1、准备zookeeper 略 2、jdk安装 略 3、上传文件到集群上 略 4、解压到    /usr/local/kafka ,并且分发到...

2018-07-29 20:41:36

阅读数:62

评论数:0

centos安装telnet

收藏一下 1.检查linux版本     cat /etc/issue 2.检查是否已经安装telnet     rpm -qa | grep telnet     上面的显示是已经安装,就不需要再安装了,如果没有,接着下一步吧。 3.安装telnet及telnet-serve...

2018-07-28 16:07:14

阅读数:33

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭