排序:
默认
按更新时间
按访问量

数据竞赛系列

1.方法论 1.1 EDA 传统问题低维度特征可视化与强特征构造:https://www.kesci.com/apps/home/project/59f687e1c5f3f511952baca0 时间序列问题EDA的分析角度,时序必备背景知识(2.1和2.2是翻译的经典时序书籍Forecas...

2018-07-27 15:05:19

阅读数:309

评论数:0

海量数据处理:十道面试题与十个海量数据处理方法总结(大数据算法面试题)

第一部分、十道海量数据处理面试题1、海量日志数据,提取出某日访问百度次数最多的那个IP。      首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再...

2018-06-09 17:11:57

阅读数:73

评论数:0

知识视频翻录

1.现在市场上面的主流视频加密软件基本上是不可能被破解得。 2.加密视频软件会检测你的进程,会对怀疑是录屏进程的进程进行kill或者降低权限等等手段防止录屏软件的开启,并且伤及无辜。 3.对其技术进行分析后,发现,隐藏录屏软件进程后,就可以翻录。 ps:尊重原创知识视频。并且,知识视频是有价...

2018-09-23 14:30:28

阅读数:5

评论数:0

pyspark系列--pandas和pyspark对比

目录 pandas和pyspark对比 1.1. 工作方式 1.2. 延迟机制 1.3. 内存缓存 1.4. DataFrame可变性 1.5. 创建 1.6. index索引 1.7. 行结构 1.8. 列结构 1.9. 列名称 1.10. 列添加 1.11. 列修改 1.12. 显示 1.1...

2018-09-22 21:41:25

阅读数:8

评论数:0

phoenix凤凰介绍

官网地址:http://phoenix.apache.org/ 语法地址:http://phoenix.apache.org/language/index.html等。 Apache Phoenix通过结合两者的优点,在Hadoop中为低延迟应用程序启用OLTP和运营分析: 具有完整ACID...

2018-09-17 20:28:54

阅读数:18

评论数:0

SQLmap学习

github地址:https://github.com/sqlmapproject/sqlmap 中文文档https://github.com/sqlmapproject/sqlmap/blob/master/doc/translations/README-zh-CN.md 一、sqlmap选...

2018-09-17 17:57:11

阅读数:21

评论数:0

spark 2.X 疑难问题汇总

https://blog.csdn.net/xwc35047/article/details/53933265 当前spark任务都是运行在yarn上,所以不用启动长进程worker,也没有master的HA问题,所以主要的问题在任务执行层面。 作业故障分类 故障主要分为版本,内存和权限三方...

2018-08-27 17:42:29

阅读数:48

评论数:0

特殊的搜索引擎以及Shodan

https://www.zhihu.com/question/20251786 以及:https://www.shodan.io/ 什么是Shodan? Shodan是用于连接互联网的设备的搜索引擎。网络搜索引擎,例如Google和Bing,非常适合查找网站。但是,如果您有兴趣测量哪些国家变...

2018-08-24 21:19:56

阅读数:61

评论数:0

CentOS7安装Docker

Docker 要求 CentOS 系统的内核版本高于 3.10 ,查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker 。通过 uname -r 命令查看你当前的内核版本或者使用cat /etc/centos-release查看版本(支持centos7.x以上) uname ...

2018-08-21 21:10:41

阅读数:63

评论数:0

TensorFlow---(6)用RNN生成文本

https://blog.csdn.net/liubo7887/article/details/78827440 https://blog.csdn.net/heisejiuhuche/article/details/73010638 https://github.com/NELSONZHAO...

2018-08-14 22:11:26

阅读数:48

评论数:0

TensorFlow---(5)基于RNN/LSTM的Realbook爵士乐谱配乐生成

【基于RNN/LSTM的Realbook爵士乐谱配乐生成】《LSTM Realbook》by Keunwoo Choi GitHub:  https://github.com/keunwoochoi/lstm_real_book?utm_medium=hao.caibaojian.com&...

2018-08-14 22:09:21

阅读数:45

评论数:0

TensorFlow---(4)RNN做MNIST_data手写数字识别

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data   #载入数据集 mnist = input_data.read_data_sets("MNIST_data/...

2018-08-12 17:07:49

阅读数:26

评论数:0

TensorFlow---(3)MNIST数据集分类

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #载入数据集 mnist = input_data.read_data_sets("MNIST_data&...

2018-08-12 17:04:38

阅读数:21

评论数:0

TensorFlow---(2)非线性回归

import tensorflow as tf import numpy as np import matplotlib.pyplot as plt   #使用numpy生成200个随机点 x_data = np.linspace(-0.5,0.5,200)[:,np.newaxis] noi...

2018-08-12 16:57:57

阅读数:30

评论数:0

利用Deepo做深度学习环境

https://hub.docker.com/r/ufoym/deepo/    Deepo是一系列 Docker镜像 可让您快速设置深度学习研究环境 支持几乎所有常用的深度学习框架 支持GPU加速(包括CUDA和cuDNN),也适用于仅CPU模式 适用于Linux(CPU版本 /...

2018-08-12 12:27:29

阅读数:91

评论数:2

机器学习资源:根据不同语言类型和应用领域收集的各类工具库

C 通用机器学习 推荐者 - 一个产品推荐的C语言库,利用了协同过滤。 计算机视觉 CCV - 基于C / Cached /核心计算机视觉库,是一个现代化的计算机视觉库。 VLFeat - VLFeat是开源的计算机视觉算法库,有Matlab工具箱。 C ++ 计算机视觉 OpenCV...

2018-08-08 22:23:36

阅读数:60

评论数:0

Tensorflow基础(1)

前言: tensorflow中有很多基本概念要理解,最好的方法是去官网跟着教程一步一步看,这里还有一些翻译的版本,对照着看有助于理解:tensorflow中文社区 1.TensorFlow是基于计算图的框架: 使用图 (graph) 来表示计算任务. 使用 tensor 表示数据. 在被...

2018-08-08 21:39:49

阅读数:42

评论数:0

looter

如今,网上的爬虫教程可谓是泛滥成灾了,从urllib开始讲,最后才讲到requests和selenium这类高级库,实际上,根本就不必这么费心地去了解这么多无谓的东西的。只需记住爬虫总共就三大步骤:发起请求——解析数据——存储数据,这样就足以写出最基本的爬虫了。诸如像Scrapy这样的框架,可以说...

2018-08-02 09:34:29

阅读数:168

评论数:0

基于 svm 的金融咨询情感分析

详细代码与代码说明可见我的 github:https://github.com/ouprince/svm 处理流程: (1)金融咨询处理 1.利用 7 万多条利好/利空语料(已经标注好的,分为 1 正性,-1 负性两类),首先采用 B-gram 卡方差提取特征词汇 2.使用卡方提取的特征词...

2018-07-31 18:30:55

阅读数:35

评论数:0

利用500万条微博语料对微博评论进行情感分析

最近身边的人都在谈论一件事:10月8日中午的一条微博,引发了一场微博的轩然大波。导致微博瘫痪的原因是全球超人气偶像明星鹿晗发了一条“大家好,给大家介绍一下,这是我女朋友@关晓彤”。这条微博并@关晓彤。数据分析,可以在这里自取! 截止目前,鹿晗的这条微博已经被转发1024887,回复2649409...

2018-07-31 17:57:03

阅读数:55

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭