大数据挖掘DT数据分析-CSDN博客

转载当我们说Go语言的时候，我们在说些什么？

在云时代，云计算和大数据爆发的背景下，分布式架构、并行计算、敏捷迭代等场景对编程语言都提出了更高的要求：C/C++执行效率高，开发和编译效能低.NET、Java编程高效，而执行低效…..开发程度和系统效率如何才能兼得——Go语言就横空出世了！Go是Google公司推出的系统开发语言，它是基于编译、垃圾收集和并发的编程语言；Go语言是以C为原型，语法简洁易学，同时Go语言也兼具了C++的很多特性：继

2018-01-15 00:00:00 430

转载使用fasttext实现文本处理及文本预测

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw因为参加datafountain和CCF联合举办的大数据竞赛，第一次接触到文本预测。对比了一些模型，最终还是决定试一下fasttext。上手fasttext的过程可以说是很痛苦了，因为国内各大博客网站上很少有fasttext的博客。一方面是fasttext是FaceBook去年才开源的，用的人比较少，还有一方面是

2018-01-14 00:00:00 21242 3

转载你看到的最直白清晰的CNN讲解

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw这篇博客介绍的是深度神经网络中常用在图像处理的模型——卷积神经网络（CNN），CNN在图像分类中（如kaggle的猫狗大战）大显身手。这篇博客将带你了解图像在计算机中是如何存储的，什么是卷积，卷积神经网络的四个重要环节（局部感知、参数共享、多卷积核、池化），不会涉及复杂的公式。计算机是怎么存储图片的为了更好的理解

2018-01-13 00:00:00 5248 5

转载想精通 Python 数据挖掘？清华博士带你入门！

在我看来，基本上可以负责任地认为，Python 可以做任何事情。无论是从入门级选手到专业级数据挖掘、科学计算、图像处理、人工智能，Python 都可以胜任。或许是因为这种万能属性，周围好更多的小伙伴都开始学习 Python。那Python 现在到底有多热呢？微软开启了一个针对 Excel 功能的话题，用以收集用户的反馈。随后有用户提议让 Python 成为 Excel 的一种脚本语言，不仅可以作为

2018-01-12 00:00:00 1509

转载【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw本文代码、及测试图片在公众号 datadw 里回复图片分类即可获取。我们一般用深度学习做图片分类的入门教材都是MNIST或者CIFAR-10，因为数据都是别人准备好的，有的甚至是一个函数就把所有数据都load进来了，所以跑起来都很简单，但是跑完了，好像自己还没掌握图片分类的完整流程，因为他们没有经历数据处

2018-01-11 00:00:00 4521 5

转载一条命令调用云端GPU学习梵高风格

某日，数字图像处理课程结课。老师：课程结课，给你们布置个任务压压惊。众人：卧槽，最近这么多实验课还要布置任务？老师：我的要求很简单。我要实现一个视频处理，什么效果我不管，你们自由发挥。众人：怎么简单也不简单了好吧！好吧，在这茫茫多的实验课中，我还得再多完成一个大作业！想想怎么才能阿姆斯特朗回旋加速喷气式糊弄过老师= =||。这个时候，RussellCloud来到了我的眼前，这是一个帮助开发者提升深

2018-01-10 00:00:00 1263

转载权威报告：2018 年数据人才紧缺，现在入行恰逢其时

“数据分析的人才需求每年都在增长，而每年的高校毕业生数量远远无法满足行业需求。”——美国企业与高等教育论坛（BHEF）与普华永道（PWC）近期发布重要报告，现在入行数据分析师恰逢其时。▲ 报告原文数据已经成了企业重要资源，各个行业都开始用数据指导决策。就连NBA在选拔球员时也离不开数据分析，比如76人队就拥有属于自己的数据分析部门。比如在选拔新队员恩比德和西蒙斯时，数据分析的作用功不可没。所以近年

2018-01-09 00:00:00 4746 2

转载《小美好》短评文本情感分析+生成词云

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw因为最近看了一下《致我们单纯的小美好》，虽然情节是有点“二”吧，但是看了觉得真的很怀念初高中的日子，一时玩心大发，于是就想搞点有意思的东西。。。首先去爬了豆瓣上面的短评，然后就是用SnowNLP做了一个比较粗糙的情感分析，结果可能不是很准确，因为这个python库本来是用来分析购物评论一类的，最后还做了一个简单的

2018-01-08 00:00:00 2121

转载情感分析的新方法，使用word2vec对微博文本进行情感分析和分类

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw 情感分析是一种常见的自然语言处理（NLP）方法的应用，特别是在以提取文本的情感内容为目标的分类方法中。通过这种方式，情感分析可以被视为利用一些情感得分指标来量化定性数据的方法。尽管情绪在很大程度上是主观的，但是情感量化分析已经有很多有用的实践，比如企业分析消费者对产品的反馈信息，或者检测在线评论中的差评信息。

2018-01-07 00:00:00 28224 1

转载 Tensorflow：基于LSTM轻松生成各种古诗

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw本文代码在公众号 datadw 里回复古诗即可获取。RNN不像传统的神经网络-它们的输出输出是固定的，而RNN允许我们输入输出向量序列。RNN是为了对序列数据进行建模而产生的。样本序列性：样本间存在顺序关系，每个样本和它之前的样本存在关联。比如说，在文本中，一个词和它前面的词是有关联的；在气象数据中，一天

2018-01-06 00:00:00 10536 4

转载 LSTM模型预测效果惊人的好，深度学习做股票预测靠谱吗？

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw给你讲个段子！真实的！我去一家量化交易公司实习，一次meeting中，我和老总还有一个资深大佬谈机器学习在股票和期货里面的应用。我：LSTM在时间序列上应用的效果比较好，我们可以尝试把LSTM应用在股票预测上。此时，大佬在阴笑，老总默不作声... 我：你为啥笑大佬: 不work啊！我：为什么

2018-01-04 00:00:00 37442 1

转载深度学习的GPU：深度学习中使用GPU的经验和建议

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw深度学习是一个计算需求强烈的领域，您的GPU的选择将从根本上决定您的深度学习体验。在没有GPU的情况下，这可能看起来像是等待实验结束的几个月，或者运行一天或更长时间的实验，只是看到所选参数已关闭。有了一个好的，坚实的GPU，人们可以快速迭代深度学习网络，并在几天而不是几个月，几小时而不是几天，几分钟而不是几小时的

2018-01-03 00:00:00 23529

转载 “R语言机器学习与大数据可视化”暨“Python文本挖掘与自然语言处理”核心技术高级研修班的通知

中国通信工业协会通信和信息技术创新人才培养工程项目办公室通人办〔2017〕第45号“R语言机器学习与大数据可视化”暨“Python文本挖掘与自然语言处理”核心技术高级研修班的通知各有关单位：为了响应国家大数据战略加快建设数字中国，加强数据科学的创新发展和技术应用，打造大数据专业技术人才队伍，满足行业对人工智能、机器学习、深度学习等相关领域高端人才的迫切需求，我单位将于2018年1月23日至26日

2018-01-02 00:00:00 1531 1

转载用 Python 来刷微信「跳一跳」游戏的记录

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw本文代码在公众号 datadw 里回复跳一跳即可获取。微信小程序的游戏 —— 跳一跳，可以说是火爆了所有的微信好友圈。甚至比五六年前的飞机大战游戏都火爆，这种小游戏的火爆不仅仅是因为有魔性，有意思，更好玩的是和好友之间的排名比拼。可以说：微信深谙心理学啊！这个游戏应该怎么玩呢？当手指触碰到手机屏幕时，长

2018-01-01 00:00:00 7617 11

转载机器学习、深度学习知识点总结及面试题

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw1、反向传播思想：计算出输出与标签间的损失函数值，然后计算其相对于每个神经元的梯度，根据梯度方向更新权值。（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反

2017-12-31 00:00:00 828

转载普通程序员如何转型AI 工程师

AI领域人才奇缺，炙手可热的AI专业应届生年薪30万起步，AI毕业生基本不用找工作，都已经被企业早早预定。AI人才究竟有多紧缺？据腾讯研究院《全球人工智能人才白皮书》报告数据，目前全球AI领域人才仅约30万，全球367所具有AI研究方向的高校，每年毕业AI领域学生仅约2万人，这个数据甚至远未达到国内500万AI人才需求，更不用说全球的AI人才缺口了。不仅是人才短缺、市场对AI人才的白热化渴求，20

2017-12-30 00:00:00 1622

转载百度×科赛 PaddlePaddle AI 大赛开赛啦

2017年12月28日，百度 PaddlePaddle AI 大赛正式开赛了！在上篇「百度和科赛，想让AI与你更近一些」中曾提到，PaddlePaddle AI 大赛“希望参赛选手使用PaddlePaddle深度学习框架、利用BROAD数据集、利用K-Lab，着手解决一些行业中的真实问题，从而让AI真正应用于行业、服务于行业。”本次大赛，我们将目光放在这样一个行业——电视综艺。在电视综艺的拍摄录制

2017-12-29 00:00:00 2715

转载 Coursera上Python课程（公开课）汇总

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadwPython是深度学习时代的语言，Coursera上有很多Python课程，从Python入门到精通，从Python基础语法到应用Python，满足各个层次的需求，以下是Coursera上的Python课程整理，仅供参考，这里也会持续更新。密歇根大学的“Python for Everybody Specializ

2017-12-28 00:00:00 11676

转载数据挖掘工程师：如何通过百度地图API抓取建筑物周边位置、房价信息

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw本文代码在公众号 datadw 里回复地图即可获取。1.需求描述对于数据挖掘工程师来说，有时候需要抓取地理位置信息，比如统计房子周边基础设施信息，比如医院、公交车站、写字楼、地铁站、商场等，一般的爬虫可以采用python脚本爬取,有很多成型的框架如scrapy，但是想要爬百度地图就必须遵循它的JavaS

2017-12-27 00:00:00 1344

转载 python常用可视化技巧

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw我们在对数据进行预处理时，常常需要对数据做一些可视化的工作，以便能更清晰的认识数据内部的规律。这里我们以kaggle案例泰坦尼克问题的数据做一些常用的可视化的工作。首先看下这个数据集： import pandas as pdimport numpy as npimport matplotlib.pyplot a

2017-12-25 00:00:00 647

转载利用OpenCV的人脸检测给头像带上圣诞帽

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw本文代码在公众号 datadw 里回复圣诞即可获取。我们来看下效果原图：效果：原理其实很简单：采用一张圣诞帽的png图像作为素材，利用png图像背景是透明的，贴在背景图片上就是戴帽子的效果了。人脸检测的目的主要是为了确定贴帽子的位置，类似ps中自由变换的功能，检测到人脸中间的位置，

2017-12-23 00:00:00 1287

转载百度和科赛，想让AI与你更近一些

2017年7月，百度正式开放无人驾驶技术平台Apollo、智能语音开放平台DuerOS。同时，百度的无人车也吃到了历史上第一张开给无人驾驶汽车的罚单。百度大脑每天被调用2188亿次，已开放了超过80个核心的AI能力，已有37万多个合作伙伴加入了百度大脑开放平台。“All in AI”，是百度2017年扛起的旗帜。从巨额资金研发投入，到招揽世界级顶尖AI科学家，再到如今AI应用落地——首都机场的“刷

2017-12-22 00:00:00 898

转载京东商品评论情感分析:数据采集与词向量构造方法

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw最近实习期间在做一个对新闻文本情感分析的项目。在此，用京东的商品评论练手，从数据采集到模型实现完整地写一遍，以备未来回顾所需。事实上，我采用的方法并不困难，甚至有点naive，所以权且作为练手吧。本文代码在公众号 datadw 里回复京东即可获取。数据采集在这里为了避免人工标注的麻烦，使用的是京东iPa

2017-12-20 00:00:00 2797

转载一战成名,用户贷款风险预测参赛代码与数据集分享

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw队伍名“一战成名” 最终线上排名第七。任务融360与平台上的金融机构合作，提供了近7万贷款用户的基本身份信息、消费行为、银行还款等数据信息，需要参赛者以此建立准确的风险控制模型，来预测用户是否会逾期还款。赛题：用户贷款风险预测（算法竞赛）http://www.pkbigdata.com/common/cmpt/

2017-12-19 00:00:00 5024 4

转载用深度学习keras的cnn做图像识别分类，准确率达97%

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadwKeras是一个简约，高度模块化的神经网络库。可以很容易和快速实现原型（通过总模块化，极简主义，和可扩展性）同时支持卷积网络（vision）和复发性的网络（序列数据）。以及两者的组合。无缝地运行在CPU和GPU上。keras的资源库网址为https://github.com/fchollet/kerasolive

2017-12-17 00:00:00 19419

转载 keras实战︱人脸表情分类与识别：人脸检测+情绪分类

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw脸识别热门，表情识别更加。但是表情识别很难，因为人脸的微表情很多，本节介绍一种比较粗线条的表情分类与识别的办法。本次讲述的表情分类是识别的分析流程分为：1、加载pre-model网络与权重；2、利用opencv的函数进行简单的人脸检测；3、抠出人脸的图并灰化；4、表情分类器检测一、表情数据集主要来源于kaggle

2017-12-16 00:00:00 6394

转载 [比赛记录] 主流机器学习模型模板代码+经验分享[xgb, lgb, Keras, LR]

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadw最近打各种比赛，在这里分享一些General Model，稍微改改就能用的XGBoost调参大全： http://blog.csdn.net/han_xiaoyang/article/details/52665396 XGBoost 官方API： http://xgboost.readthedocs.io/en/

2017-12-15 00:00:00 10907 1

转载 R语言入门：大数据人才缺口巨大，现在学习还不晚

数据时代已经到来，但数据分析、数据挖掘人才却十分短缺，据全球顶尖管理咨询公司麦肯锡（McKinsey）一份详细分析报告显示：预计到 2018 年，大数据或者数据工作者的岗位需求将激增，其中大数据科学家的缺口在 14 万到 19 万之间，对于懂得如何利用大数据做决策的分析师和经理的岗位缺口则将达到 150 万！先来了解一下数据分析，就是以商业目的为驱动，所开展的获取数据、处理数据、分析数据、展示数据

2017-12-14 00:00:00 1042

转载用keras对国产剧评论文本的情感进行预测

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析公众号： datadwRNN即循环神经网络，其主要用途是处理和预测序列数据。在CNN中，神经网络层间采用全连接的方式连接，但层内节点之间却无连接。RNN为了处理序列数据，层内节点的输出还会重新输入本层，以实现学习历史，预测未来。 RNN的两个主要改进是LSTM(长短时记忆网络)和GRU(门控循环单元)，二者为基本神经单元增加了额外的功

2017-12-13 00:00:00 1323 1

转载 AI系列免费公开课

AI领域人才奇缺，炙手可热的AI专业应届生年薪30万起步，AI毕业生基本不用找工作，都已经被企业早早预定。 AI人才究竟有多紧缺？据腾讯研究院《全球人工智能人才白皮书》报告数据，目前全球AI领域人才仅约30万，全球367所具有AI研究方向的高校，每年毕业AI领域学生仅约2万人，这个数据甚至远未达到国内500万AI人才需求，更不用说全球的AI人才缺口了。不仅是人才短

2017-12-12 00:00:00 581

转载神经网络中的激活函数具体是什么？为什么ReLu要好过于tanh和sigmoid function?

向AI转型的程序员都关注了这个号

2017-12-11 00:00:00 411

转载 TensorFlow实现深度学习算法的教程汇集：代码+笔记

向AI转型的程序员都关注了这个号

2017-12-10 00:00:00 1154 1

转载上百份文字的检测与识别资源，包含数据集、code和paper

向AI转型的程序员都关注了这个号

2017-12-07 00:00:00 395

转载排行榜top7的代码和说明文档分享_2017知乎机器学习算法挑战赛

大数据挖掘DT数据分析公众号： datadw排行榜top7的代码和说明文档地址：在公众号 datadw 里回复知乎即可获取。任务描述：参赛者需要根据知乎给出的问题及话题标签的绑定关系的训练数据，训练出对未标注数据自动标注的模型。大赛主页 https://biendata.com/competition/zhihu/

2017-12-06 00:00:00 768

转载阿里流行音乐趋势预测-深度学习LSTM网络实现代码分享

向AI转型的程序员都关注了这个号

2017-12-05 00:00:00 869

转载从0到1 | 0基础/转行如何用3个月学会机器学习|数据科学

写这篇文章的初衷也是因为现在好多朋友都想了解如何入门/转行机器学习或数据科学，搭上人工智能这列二十一世纪的快车。再加上这个问题每隔一阵子就会有人提及，因此想写篇文章来个一劳永逸。文章的宗旨：指出学习中的一些误区提供客观可行的学习表给出进阶学习的建议目标读者是：零基础，对人工智能感兴趣的读者有基础，想将机器学习/数据分析和自己

2017-12-04 00:00:00 446

转载 9个比赛7进top10,阿里天池大数据竞赛思路分享

向AI转型的程序员都关注了这个号

2017-12-03 00:00:00 2360 1

原创京东JData算法大赛-高潜用户购买意向预测(github源码)

向AI转型的程序员都关注了这个号

2017-12-02 00:00:00 4560 1

原创深度学习CTPN算法的解读与tensorflow实现

向AI转型的程序员都关注了这个号

2017-11-30 00:00:00 1670

原创机器学习如何与传统行业结合？金融领域可能是最大风口

《金融信贷风控的机器学习实战》原价 ¥ 899.00 拼团已达最低价 ¥ 399.00 点击文末阅读原文参团课程名称《金融信贷风控的机器学习实战》（七天无理由退款）主讲老师田野：硕士毕业于新加坡国立大学统计专业。先后在国内外的银行、互联网金融公司

2017-11-29 00:00:00 996

空空如也

空空如也