2018年05月_冰阔落

转载 PickleException: expected zero arguments for construction of ClassDict (for numpy.dtype)

问题：spark使用numpy实现的udf报错。版本Spark 2.2.1 Python 2.7.11 NumPy 1.11.3现象用numpy实现了一个udfudf注册到sparkSessionsparkSql使用这个udf抛出异常net.razorvine.pickle.PickleException: expected zero arguments for construction of C...

2018-05-31 20:32:33 5113

转载 Linux 如何将一个文件夹的所有内容授权给某一个用户？

【问题分析】我们可以使用chown命令，ch这里代表change（改变）的意思，own代表英文单词的owner(拥有者)，连在一起就是 change owner ,改变某个文件或者文件夹的拥有者。一般只有root用户有使用这个命令的权限，也是经常会使用到的一个命令。问题来了！如果我要把一个文件夹及其所有子内容授权给mysql用户，我该如何操作呢？【解决方案】我们可以加 -R 参数来实现-R : 对...

2018-05-29 10:51:15 107581

转载路线图：程序员领域知识体系搭建

读完了梁宁的专栏《产品思维30讲》，其中有一篇是《点线面体的战略选择》，特别有感触。虽然是讲产品，但假如把个人的成长当成产品演进一样来发展，会有一种异曲同工，殊途同归的感觉。个人的成长有很多方面，但关于技术人的成长最重要的是知识体系构建，这其实就是一个「点线面体」的演进过程，下面结合我自己的成长演进过程来梳理下。点进入任一领域，都是选择从一个点开始的。上图是我从大学进入软件开发领域的一系列的点，按...

2018-05-28 10:13:18 1727

转载编程这件小事(续)

经常听人（大部分时候是领导：）说的一句话就是写代码简单，业务／设计才是最重要、最值钱的。个人一直不以为然，这种思想的存在当然肯定是有道理。本文的目的也不是要说代码才是最重要的，那无异于走入了另一个极端。这里只是想说：除非把设计做的非常细致，甚至达到了“能运行”的伪代码的级别，否则我们真的没有资格说码代码很简单，因为它确实不简单。随着能力和级别的提升，我们经常被告知要...

2018-05-28 10:07:54 233

转载 Spark编程指南——Python版

摘要：对于1个年仅5岁的开源项目来说，其远谈不上尽善尽美，就比如文档相关。本文翻译自Spark Programming Guide，选取了其中使用Python的部分。自开源之日至今，Spark已经5岁了。从最初不到4000行代码发展到当下通用大数据处理引擎的有力竞争者，Spark一直保持着小而紧凑，使许多开发人员更容易理解，也让升级起来更加方便。快、通用让Spark如鱼得水，然而对于1个年仅5岁的...

2018-05-18 10:58:01 25153

转载 Hadoop 之 HDFS 文件操作

摘要：Hadoop之HDFS文件操作常有两种方式，命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。关键词：HDFS文件命令行 Java APIHDFS是一种分布式文件系统，为MapReduce这种框架下的海量数据分布式处理而设计。Hadoop之HDFS文件操作常有两种方式，一种是命令行方式，即Hadoop提供了一套与Linux文件命令类似的命令行工...

2018-05-17 19:32:52 416

转载 Redis 在 windows 下安装过程

一、下载windows版本的Redis 去官网找了很久，发现原来在官网上可以下载的windows版本的，现在官网以及没有下载地址，只能在github上下载，官网只提供linux版本的下载官网下载地址：http://redis.io/download github下载地址：https://github.com/MSOpenTech/redis/tags 二、安装Redis 1.这里下载的是Redi...

2018-05-15 09:58:42 338

转载 Intellij IDEA 神器居然还有这些小技巧

概述Intellij IDEA真是越用越觉得它强大，它总是在我们写代码的时候，不时给我们来个小惊喜。出于对Intellij IDEA的喜爱，我决定写一个与其相关的专栏或者系列，把一些好用的Intellij IDEA技巧分享给大家。本文是这个系列的第一篇，主要介绍一些你可能不知道的但是又实用的小技巧。我最爱的【演出模式】我们可以使用【Presentation Mode】，将I...

2018-05-14 09:58:41 6109

原创 linux 清除 redis 的特定前缀的 key

获取所有Key命令：redis-cli keys ‘*’ ；获取指定前缀的key：redis-cli KEYS “edu:*”如果需要导出，可以redis-cli keys ‘*’ &gt; /data/redis_key.txt删除指定前缀的Key redis-cli KEYS “edu:*” | xargs redis-cli DEL...

2018-05-13 20:05:07 7162

原创 pyspark 添加 redis 模块

安装 redis 模块并把 redis 模块打包pip install redismkdir redismv ....../site-packages/redis redisimport shutildir_name = "redis"output_filename = "./redis"shutil.make_archive(output_filename, 'zip', ...

2018-05-13 18:03:20 2501 2

原创 linux 批量删除某个前缀文件

find ./ -name 'news_video_vec_20180*' -exec rm {} \;

2018-05-10 18:24:59 16156

转载 MongoDB GUI（ Robo 3T） Shell使用及操作

MongoDB GUI（ Robo 3T） Shell使用及操作Robo 3T 下载及使用之前叫 Robomongo，后面被收购了，改名 Robo 3T 。下载链接：https://robomongo.org/download （需要FQ）安装步骤省略，下一步下一步…图形界面，连接默认，取个名字就行。连接成功，可以愉快的使用了，不用总是敲命令了，简洁方便，...

2018-05-09 19:52:41 1282

转载 Automatic Partitioning With Amazon Athena

Automatic Partitioning With Amazon Athena Amazon Athena pricing is based on the bytes scanned. Anything you can do to reduce the amount of data that’s being scanned wi...

2018-05-04 18:06:51 469

原创 python 中 list 与 numpy array 的转换

u = array([[1,2],[3,4]])转换为list m = u.tolist()移除m[0] m.remove(m[0])转换为arra m = np.array(m)

2018-05-04 16:04:57 22013

转载超详细的 Python 自学项目收集

补充了几个数据分析的项目，目前是33个Python项目，会继续保持更新。Learn by doing才是正确的技术学习姿势。20171009更新：NBA常规赛结果预测–利用Python进行比赛数据分析Python 气象数据分析20161230更新：Python基于共现提取《釜山行》人物关系20160918更新：Python - Python3 实现火车票查询工具20160816更...

2018-05-04 14:50:11 1040 1

转载利用 KNN 算法进行验证码识别

文章:用KNN来进行验证码识别前言对那些及其简单的验证码,可以用KNN算法来破解,这里整理了一个思路,可以了解了解.那么KNN算法原理是什么呢?KNN原理 kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的...

2018-05-04 14:37:25 1507

转载如何用机器学习来判定红楼梦后40回是否曹雪芹所写

前言今天在涉机器学习相关知识时,看到黎晨这篇文章,觉得蛮有意思的,拿来这里介绍大家.这里判定的维度越多越精准,下面判定仅供参考,仅供娱乐学习!判定整体思路主要从以下几个方面可以进行粗略进行判定:1.写作习惯每个人写作都有一些与种不同的小习惯,这些小习惯并不会轻易就会发生改变;万分之一的例外情况不考虑!2.词频统计就像每次领导人开会一样,媒体或政客们都会...

2018-05-04 14:35:36 705

转载人工智能之机器学习常见算法

摘要之前一直对机器学习很感兴趣,一直没时间去研究,今天刚好是周末,有时间去各大技术论坛看看,刚好看到一篇关于机器学习不错的文章,在这里就分享给大家了. 机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里IT经理网为您总结一下常见的机器学习算法，以供您在工作和学习中参考。机器学习的算法很多。很多时候困惑人们都是，很多算法是一类...

2018-05-04 14:16:35 378

转载我们分析了 10000 条视频，终于知道了今日头条推荐系统的秘密

本文首发于视频帮平台（ID：kbstreet），作者齐穆。大数据获授权转发，如需转载请与首发公众号联系，谢绝二次转载。就算法机制平台而言，播放量绝大部分取决于【推荐量】。受“今日头条金秒奖组委会”的邀请，视频帮就“金秒奖”第一季度累计3.04亿播放量的10166个参赛短视频进行了专业分析。由今日头条主办的“金秒奖”（jmj.toutiao.com）是首个短视频行业

2018-05-02 09:46:59 31660 4

Bingo