Hive1.2.1<常用操作示例>

版本:apache-hive-1.2.1 使用到的数据:链接:http://pan.baidu.com/s/1c2xmk1M 密码:uucs1. train 01.创建10min数据托管表。 create table TenminData_tg ( `DATASOURCE` string ,...

2017-07-01 21:39:09

阅读数 870

评论数 0

Python<H2o使用分布式随机森林建模分类>

1.安装H2ocmd:输入pip install h2o2.启动python import h2o h2o.init()启动成功之后可以在浏览器中输入:localhost:54321 3.数据准备使用到的数据在我的github 3.建模a.读入数据 b.解析文件 c.查看Job d.创建...

2017-07-01 13:34:03

阅读数 2583

评论数 1

Spark2.1.1<SparkSQL中常用四大连接>

环境:Spark 2.1.1 准备工作persons.csv: +----+--------+---------+--------------+--------+ |Id_P|LastName|FirstName| Address| City| ...

2017-06-30 18:42:33

阅读数 2065

评论数 0

JVM<汇总一个JVM进程中的线程的状态>

1. 首先通过Jps命令查看所有的JVM进程[root@master ~]# jps 23089 HMaster 2357 Worker 2535 NameNode 2999 ResourceManager 49879 Kafka 22938 QuorumPeerMain 2811 Seconda...

2017-06-23 18:54:10

阅读数 998

评论数 0

JVM<对象的四种引用>

无论是通过引用计数算法判断对象的引用数量,还是通过可达性分析算法判断对象的引 用链是否可达,判定对象是否存活都与“引用”有关。 在JDK 1.2以前,Java中的引用的定义很 传统:如果reference类型的数据中存储的数值代表的是另外一块内存的起始地址,就称这块 内存代表着一个引用。 这...

2017-06-23 16:20:24

阅读数 590

评论数 0

Spark2.1.1<spark写入Hbase的三种方法性能对比>

测试条件以下是我的PC信息 依赖:<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark...

2017-06-21 11:21:19

阅读数 11403

评论数 0

Spark2.1.1<通俗易懂理解combineByKey-combineByKeyWithClassTag>

combineByKey是Spark中一个比较核心的高级函数, groupByKey,reduceByKey的底层都是使用combineByKey实现的,这是我要弄清楚它的原因1.6.0版的函数名更新为combineByKeyWithClassTagcombineByKey会调用combineBy...

2017-06-16 18:26:06

阅读数 1264

评论数 0

Hadoop2.8.0<Mapreduce模型+shuffle过程>

1.Mapreduce模型 map阶段有一定量的maptask组成,其实就是多线程在处理我们的任务,多个task分布在物理上的多台机器上执行,reduce阶段是由一定数量的reduceTask组成的map阶段: 输入数据格式的解析:inputformat 输入数据的处理:mapper 数组分组:...

2017-06-16 11:14:30

阅读数 564

评论数 0

「LEETCODE-15」三数之和

题目简介: 解题思路: a+b+c=0,无非有一下几种情况: 1⃣️a,b,c三个数字有两个是相同的,相同的数字在数组中出现的次数必须大于1; 2⃣️a为负数,b为正数数,c小于a或者c大于b; 3⃣️c=0.(除此之外,之所以不考虑:负数&lt;c&lt;正数是因为恰恰这么做可...

2019-04-05 22:29:46

阅读数 35

评论数 0

「LEETCODE-1」两数之和

题目简介: 解决思路: 可借助“互补”概念来解决,遍历数组,当前元素如果不在词典镜像词典内,则将target-num 以及num对应的下标存入镜像中;如果在镜像中,则将当前下标与镜像中与当前数字“互补”的数字的下标返回。 代码: class Solution: def twoSum(se...

2019-04-05 19:47:23

阅读数 24

评论数 0

Ubuntu16.04镜像下载

下面为Ubuntu16.04镜像下载地址: http://releases.ubuntu.com/xenial/

2019-02-13 19:52:39

阅读数 79

评论数 0

R<match.call(expand.dots=FALSE)详解>

在R语言很多源码中会看到match.call(expand.dots=FALSE)的代码,刚开始还是看不懂这是什么意思。查一下API: https://www.rdocumentation.org/packages/base/versions/3.5.1/topics/match.call 简单...

2018-11-14 22:47:24

阅读数 216

评论数 0

IDEA【搭建Maven开发环境】

Jetbrain的IDEA工具是集成了Maven的,但是经过试验我发现在学校使用校园网是不需要做任何操作就可以将maven的依赖项目下载下来。但是,非校园网就没有这么顺利了。此博客将记录搭建IDEA中的Maven环境。初始环境下的IDEA的Maven设置是Bundled(Maven3): 将...

2018-07-14 17:17:35

阅读数 822

评论数 0

ubuntu18.04[阿里云源]

deb http://us.archive.ubuntu.com/ubuntu/ bionic main restricted deb http://us.archive.ubuntu.com/ubuntu/ bionic-updates main restricted deb http://us...

2018-04-28 15:44:57

阅读数 2090

评论数 0

Pytorch[GPU版Pytorch(caffe2)安装教程]

caffe2和pytorch是FaceBook的两大开源深度学习框架,caffe2于2018年04月并入了pytorch: 所以效果要安装拥有最新特性的caffe2,就直接安装pytorch吧。 硬件配置: 软件配置: CUDA8.0+cudnn6.0 gcc 5.4.1 g+...

2018-04-24 17:57:54

阅读数 5796

评论数 11

Tensorflow-GPU[解决Tensorflow:ImportError:libcusolver.so.9.0]

由于重重原因我把机子的环境中CUDA9.0+CUDNN7.0.5+tensorflow-GPU1.6的变成了:CUDA8.0+cudnn6.0+tensorflow-gpu1.6 之后在引入了: import tensorflow 的时候就抛出异常: Tensorflow:Import...

2018-04-24 16:46:33

阅读数 1042

评论数 0

python[对多维数组排序]

有四个点,每一个点有x,y坐标,如何根据x坐标或者y坐标进行排序?以下是解决办法: if __name__ == '__main__': alist = [[0, 10], [5, 6], [2, 7], [3, 8], [1, 12]] alist.sort() prin...

2018-04-10 15:45:09

阅读数 885

评论数 0

Opencv[cv2.findContours解决image data type = 0 is not supported]

在找二值图片的轮廓,给cv2.findContours函数传递二值图片的时候,抛出一下异常: (_, cnts, _) = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) TypeError: image ...

2018-04-09 14:31:02

阅读数 2223

评论数 0

Opencv<python版本在图片中插入中文>

当前Opencv使用puttext()函数显示文字的时候,插入中文会有问题,至于什么问题,我不赘述。以下我实现的效果:以下是实现代码:import cv2 import numpy from PIL import Image, ImageDraw, ImageFont def text_to_Im...

2018-03-28 22:38:48

阅读数 404

评论数 0

Ubuntu16.04《解压7z.001文件》

在网上下了一个数据集,解压开来如下: Google一波之后发现这是7z文件,使用7zr解压一下就好了: sudo apt-get install p7zip-full 然后在当前路径输入: 7zr e +.7z.001结尾的文件名 即可解压...

2018-03-14 16:27:26

阅读数 1809

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭