听了个听儿

Hey,少年,慢慢来

python依赖库管理及迁移

python依赖库管理及迁移WhyWhatHow使用conda及问题使用pip使用docker Why python的包特别多,这为我们带来了方便也造成了不变,主要问题如下: 开发环境迁移时,我们要将所有现有安装包再在新的机器上安装一遍; 已安装包在后续更新时变动较大,可能会影响现有代码。希望可...

2018-11-02 11:58:37

阅读数 402

评论数 0

hive之数据修改

内部表 VS 外部表 Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径, 不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除, 而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。所...

2018-05-25 12:15:41

阅读数 2459

评论数 0

查看任务执行情况

1. 找到启动的任务 ps aux | grep python xx.py会模糊匹配,找到相关的任务 第一列:USER,第二列:进程号PID,第三列:占用的CPU、第四列:占用的内存 2. 找到然后杀掉 ps aux | grep xx.py | awk -F" " '...

2018-01-12 15:15:08

阅读数 494

评论数 0

spark-lda报错

学习使用spark的LDA进行文章主题词聚类,最终没有成功,先占个坑,记录错误。。 一、整体流程  原始数据读取及准备:切词、去停用词; 语料库准备:词典建立、词频文档矩阵建立; LDA 模型训练 二、实际操作 前期数据是按照某种规则切好的词,每行代表一个文档,其内容为以'\t...

2018-01-07 11:03:10

阅读数 296

评论数 1

层次聚类算法的原理及python实现

一、算法简介 主流的聚类算法可以大致分成层次化聚类算法、划分式聚类算法(图论、KMean)、基于密度(DBSCAN)和网格的聚类算法和其他聚类算法。 1.1 基本概念 层次聚类(Hierarchical Clustering)是一种聚类算法,通过计算不同类别数据点间的相似度来...

2018-01-05 11:27:52

阅读数 6522

评论数 2

用于web检索的DSSM 论文阅读

深度语义匹配模型DSSM论文阅读

2017-12-27 18:29:13

阅读数 1321

评论数 1

python输出中文相关

python 输出中文

2017-12-27 15:03:01

阅读数 161

评论数 0

pyspark使用指定python环境后的提交方法

pyspark使用指定python环境后的提交方法

2017-12-25 17:05:09

阅读数 3529

评论数 0

服务器更新python安装包

服务器更新python安装包

2017-12-21 17:20:33

阅读数 592

评论数 0

pyspark依赖第三方库

spark集群中使用python第三方库

2017-12-20 13:47:59

阅读数 2960

评论数 1

anacoda 安装tensorflow

anaconda配置不同python版本下的tensorflow

2017-12-05 08:47:31

阅读数 1427

评论数 0

MaskRCNN学习笔记

MaskRCNN阅读笔记

2017-12-04 21:27:44

阅读数 4328

评论数 0

<A Critical Review of Recurrent Neural Networks for Sequence Learning>阅读笔记

RNN论文阅读笔记

2017-11-22 21:03:48

阅读数 249

评论数 0

hive和spark-sql计算stddev的结果差异

hive和spark-sql中的标准差计算方式

2017-11-03 16:48:27

阅读数 1401

评论数 0

hadoop琐碎

hadoop

2017-07-11 11:18:23

阅读数 168

评论数 0

git基本使用场景及命令

git基本使用场景及命令

2017-06-16 12:35:30

阅读数 145

评论数 0

Anacoda安装Pacakge

Anacoda安装Pacakge

2017-06-09 11:43:49

阅读数 834

评论数 0

XGBoost学习资料及Anacoda安装

xgboost学习资料及安装

2017-06-09 11:06:43

阅读数 598

评论数 0

hive之异常值处理

hive之异常值相关

2017-06-05 16:29:29

阅读数 1086

评论数 0

正则化

正则化相关知识复习

2017-06-04 12:16:20

阅读数 199

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭